研究称 SWE-bench 排行榜头部已趋同
论文AI 评分 65/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对 254 份 SWE-bench 提交的分析显示，头部模型表现高度重叠。Verified 榜单前两名均解决 396 个实例，前十名共享 285 个成功与 51 个失败，仅 164 个实例能区分结果。前三十名相邻对在 0.05 显著性水平下无法通过 McNemar 检验区分。研究建议放弃单纯排名，转而报告特定对比集的解决率与模型架构来源。
为什么值得看
揭示基准测试头部趋同现象，质疑现有排名有效性，提出评估新范式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。