SWE-Gate基准测试揭示软件工程评估缺陷
工具AI 评分 75/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究人员推出SWE-Gate基准测试，评估软件工程代理在功能测试和代码审查约束合规性方面的表现。该基准基于303个真实仓库级修复案例，涵盖75个开源Python项目。实验显示，在644个通过功能测试的修复中，221个未能满足代码审查约束，表明仅评估功能性会高估代理的实际能力。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载引入审查约束基准
现有的软件工程智能体评估基准主要关注生成的代码补丁是否能通过功能测试，却忽略了在实际开发中决定代码是否被接受的审查约束。为了解决这一局限，研究团队推出了名为 SWE-Gate 的仓库级基准。该基准在评估功能正确性的同时，明确加入了针对审查约束合规性的检测。SWE-Gate 从真实的拉取请求审查评论中提取约束条件，并围绕这些条件合成仓库级的修复实例。每个实例都包含独立的功能测试和约束测试，同时提供不合规的补丁和标准补丁，从而将问题解决能力与审查约束合规性区分开来。
构建规模与实验
研究团队构建了包含 303 个仓库级修复实例的 SWE-Gate 数据集，这些实例涵盖了 75 个不同软件领域的开源 Python 仓库。为了验证基准的有效性，实验选取了四种能力各异的大语言模型作为后端，并在统一的编码智能体框架下进行了测试。测试结果显示，在功能成功与完全修复规范的成功率之间存在显著差距。具体数据表明，在通过功能测试的 644 次修复中，有 221 次未能满足提供的审查约束。这一发现证实，仅基于功能的评估方式高估了智能体满足仓库级修复任务全部要求的能力。
为什么值得看
揭示了当前AI代码评估基准的局限性，对软件工程AI代理开发有重要指导意义。
基准测试
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。