研究称 SWE-bench 排行榜头部已趋同
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载榜单名次未必代表差距
这篇论文把注意力放在一个常被忽略的环节：排行榜上相邻名次之间的细小分差，是否真的能支撑“谁更强”的判断。作者没有重新运行任何模型，而是对 254 份 SWE-bench 提交记录做审计，覆盖四个数据划分。在 Verified 划分上，排名最前的两个条目各自解决了 500 个实例中的 396 个，成绩完全相同；换句话说，榜首与次席在这份材料里并没有可区分的差距。前十条目共同成功 285 次、共同失败 51 次，真正能拉开彼此结果的实例只有 164 个。这个数字说明，大量题目对所有头部系统而言难度趋同，区分度集中在少数实例上。
成功集合高度重叠
论文用嵌套度刻画各方案成功集合的重合程度。前沿方案的成功集合嵌套度中位数为 0.935，而按分数推算的基线只有 0.774，前者明显更高，意味着头部条目解出的题目高度共享。分数还受被评测的模型与脚手架组合影响：同一模型在不同脚手架下，观测到的分数区间可达 29.8 个百分点，而前三十名之间的整体分差只有 8.8 个百分点。九个单元格均值交互检验中有六个在 Holm 校正后仍然显著，不过作者明确说明，这种观测性设计无法确定脚手架效应的因果关系。
配对检验分不开名次
在统计层面，作者对 Verified 前三十名中全部 29 组相邻配对做精确 McNemar 检验，在 alpha=0.05 下没有任何一组被判定为存在差异；规模更大的 Test 划分则在 23 组相邻配对中分出了 14 组。按作者设定的基于领先者的规则，可以划出三个描述性层级，经 Holm 校正后缩减为两个。论文同时提醒，未能拒绝原假设并不等于证明两者等价。这些结果指向一个结论：把微小的总分差距直接读成名次差异，缺乏统计支撑。
改用可分辨的度量
作者公开了实例划分结果和一套五步审计流程，内容包括刻画共享结果、检验配对差异、报告分组敏感性，以及估算达到可分辨所需实例数量。论文主张，报告应给出针对具体比较集合的分辨能力，并标注模型与脚手架的来源信息，而不是把聚合分数的小幅领先当作既定排名。对阅读榜单的人来说，这意味着看到相邻名次时应先问差距是否落在可分辨范围内；对提交结果的团队来说，附上脚手架配置与配对检验结果，比单列一个总分更能说明问题。该文被 ADMA 2026 的 Responsible Data Intelligence 专题接收，定稿 15 页、含 4 幅图。
为什么值得看
揭示基准测试头部趋同现象，质疑现有排名有效性，提出评估新范式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。