研究：AI 智能体论文的数值错误多源于错配而非编造
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载错配而非编造
论文把关注点从“AI 是否编造数据”转向“数值是否被放错位置”。作者重跑了某公开 AI 研究智能体基准的全部 540 条已发布判定，该基准覆盖九个智能体与十五个开放研究问题，并从中挑选 18 份投稿、人工标注 256 条数值主张。结论是失败集中在论文与底层工作之间的对应关系，而不是明显的作弊行为。约五分之四缺乏支撑的主张，都能在智能体自己的文件里找到来源，只是这些值来自错误的实验、错误的指标或错误的运行批次。这意味着单靠“数值是否在输出中出现过”的检查无法发现问题，因为值确实存在，只是被安到了不该安的位置。
确定性核查器的做法
作者提出一种确定性的主张—证据核查器：它不判断数值真假，而是判断主张周围的上下文是否足以指明所引结果，并用数值干扰项对每条主张做校准。规则在人工标注开始前就已固定，避免事后调参。在盲审标注者面前，它给出的认证精确率超过 90%，85 条中 78 条与人工判断一致，Cohen's kappa 为 0.89。代价是覆盖面有限，只核验一部分主张；不过多数无法核验的主张仍可溯源，因此“未能核验”并不等于“主张为假”，这一区分对使用自动判定的人很关键。
与 LLM 核查器的分工
作者把同一批证据交给 LLM 核查器，后者能找回更多可溯源主张，但会多接受约三倍错配主张，说明两类方法各有偏向，适合配合使用而非互相替代。把确定性核查器用于 99 份投稿后，不同智能体之间的可溯源程度差异明显。另有一项观察涉及评审侧：换用另一家厂商的评审模型后，官方智能体排名保持不变，但通过的论文数量翻倍。作者据此主张对 AI 产出的研究采用“溯源优先”的审计方式，即先追问数值来自哪次实验、哪个指标，再讨论结论是否成立。
为什么值得看
揭示 AI 写论文的数值错误多为张冠李戴，并给出可复用的确定性核查方法，对做智能体评测与科研自动化的人有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。