SWE-Prometheus基准测试评估代码智能体工程治理改善
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从修问题到治仓库
现有面向代码仓库的评测通常由人先指出一个具体问题，再看模型给出的补丁能否通过功能信号。SWE-Prometheus 把任务范围扩大：它不提供待修的问题，而是给出一个固定的仓库快照和一个开放式目标，要求智能体自行找出风险、排出干预的先后顺序，并对改动结果做验证。评测围绕工程治理的六个维度展开，采用成对证据、干净环境探针、行为门禁，以及两位独立评审对同一份证据分别打分的方式。基准共收录 60 个仓库，其中 22 个构成公开子集，供十个模型在同一条件下比较。
分数区间与破坏率
在这 22 个仓库的公开子集上，各模型的平均归一化治理改进（NGI）落在 0.0568 到 0.5760 之间，同时观察到的行为破坏率从 0% 一直到 23%。这两个数字需要放在一起看：改进幅度高的系统，未必在保持原有行为上同样稳妥，因此单看提升值会漏掉代价。作为对照，一个不看仓库内容、只套用固定模板的做法，在冻结的十个仓库批次上取得平均 NGI 0.272，但它的收益集中在测试与持续集成、质量门禁、文档三处，在可复现环境和依赖与安全两项上，没有任何一个仓库出现改善。这个基线把「只是往仓库里添加治理类文件」和「带来有执行结果支撑的真实改进」区分开来，使两者的差距可以被测量。
空操作与评审一致性
不做任何改动的条件下，NGI 的中位数为零，标准差为 0.073，说明该指标在无干预时基本不产生虚假提升。对同一份空操作证据，两位评审在 60 个维度评分中有 57 个完全一致，反映出评分口径在多数情况下可复现。在条件均值最高的两个系统之间，共同有效样本上的 NGI 接近；而把行为失败也纳入的全池比较，则更有利于 Kimi-K3。两类比较给出不同结论，原因在于是否把破坏行为的样本计入。由此该工作主张，仓库治理评测应同时报告改进幅度、行为保持情况、证据质量与覆盖范围，而不是只给一个总分。
对使用者的含义
对关心代码仓库治理的读者来说，这套基准提示了评估方式的选择会直接改变结论：只看补丁是否通过功能测试，无法反映智能体是否真的降低了仓库层面的风险；只看治理文件的增删，又会把模板式填充误认为改进。把固定快照、开放目标、干净环境探针和行为门禁组合起来，才能同时约束「改了什么」和「有没有改坏」。其限制也写在设计里：公开比较只在 22 个仓库上进行，模板基线只在十个仓库的冻结批次上测量，不同比较口径下的排名并不一致，因此结论需要连同覆盖范围和证据质量一并阅读。
为什么值得看
该基准将代码智能体评估从单纯修复问题扩展到工程治理提升，并强调需综合考量改善幅度、行为保持与证据质量。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。