研究提出智能体排行榜审计框架，SWE-bench污染指控不成立
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载按证据强度分三类污染
这篇论文提出一套以测量为先的审计框架，核心做法是不把所有“污染”当成同一件事，而是按支撑主张所需的证据把污染拆成三条通道：训练阶段接触、评测阶段检索、以及流水线或脚手架泄漏。每条通道再按证据状态标注为开放、部分、封闭或未知，并采用失败即判为封闭的规则。作者把该框架用于九个 Holistic Agent Leaderboard 配置，共形成二十七项通道评估，其中没有任何一项被评为封闭，但有四个配置中确认了事件。框架强调，不同通道需要不同证据，不能混为一谈。
行为组件的对照设计
框架的行为部分被用于检验 SWE-bench Verified 上一处被报告的文件定位差距。做法是采用结果盲、同仓库的匹配对照设计，并加入对称的提示泄漏筛查，配合成对以及仓库感知的不确定性分析，还做了评分器验证，评测对象为 GPT-4.1 与 DeepSeek-V4-Flash。经对称筛查与配对完整性排除后保留一百对样本，GPT-4.1 在配对加权下呈现 Top-3 的基准相关差距，但预设的配对自助法区间与事后仓库平衡分析给出的区间都包含零，因此该基准相关差距无法定论。
评分器未过验证关
复现所用评分器没有通过其验证门槛：对照共识人工标签，两个模型都未能确立足够的评分器敏感度，而 DeepSeek-V4-Flash 在正确金标比较上的两次触发均为假阳性。作者由此给出结论：缺少来源证据、恰当对照、对称泄漏筛查与经验证的评分器时，更强的污染主张并不成立。研究结果并未确立训练数据成员关系、污染普遍程度，也未确立基准导致的分数虚高。
为什么值得看
为智能体排行榜数据污染审查提供严谨实证框架，揭示当前SWE-bench等基准的污染指控缺乏充分证据支撑。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。