ClaimScope：72 项数学主张审计基准，验证器反馈提升反例产出
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载审计任务与四类输出
ClaimScope 是一个包含 72 项任务的基准，用来审计被提出的数学主张。每项任务要求给出裁决、适用范围、反例与修复方案四类输出。任务内容覆盖优化器状态传输、有限时域仿射递推以及精确的 2×2 线性代数。该基准的评估方式不同于常见的按答案正确率或证明是否被接受来打分，而是把主张分类与可执行证据分开看待。作者为 Mushir Akhtar，论文提交于 2026 年 10 月 15 日，被 NeurIPS 2026 Workshop（Mathematical Reasoning and AI）接收。
见证检查器如何工作
评估对象是 Qwen3-8B，采用直接生成以及四种配对的两轮条件，每种条件都从同一份草稿出发。见证检查器只查看模型提交的状态，既不参考标准裁决，也不提供替代的见证。即便如此，它的反馈仍携带关于有效性的信息：被验证的反驳可以确立该主张为假，而拒绝的理由则可能提示结构性的修正方向。这一设置把检查器定位为对见证结构的校验环节，而不是替模型补全答案的来源。
反馈带来的数字变化
在这套评估中，检查器反馈在无效主张上得到 23/39 个被接受的反例，并带来 25/72 个安全完成；作为对照，无检查器的通用反馈对应 15/39 与 20/72。严格完成仍为 17/72，裁决准确率从 47/72 变为 46/72。按主张分组的安全完成差值为 .094，其自助法区间下界为 .000、上界为 .198。全部七项任务层面的增益都跟随时域或输入长度的诊断结果出现。作者还做了一次事后仅改模式的直接输出修正，在没有再次调用模型的情况下同样达到 25 个安全任务。
结论指向何处
这些结果把主张分类与可执行证据区分开来，并把观察到的增益定位在见证结构的修正上，而不是证明模型具备更广泛的推理能力提升。对读者而言，这意味着在数学主张审计这类任务中，一个只检查提交状态、不接触参考答案的校验环节，就可能改变反例被接受的比例与安全完成的数目；同时，裁决准确率并未随之上升，说明收益的来源较为具体，适用范围也受限于见证结构本身。
为什么值得看
把「判断主张对错」与「给出可执行证据」拆开评估，并给出验证器反馈有效性的量化对比，对做数学推理与智能体评测的人有直接参…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。