研究评估大模型批改奥赛证明的能力，提出 MABGrader 框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题与数据构建
论文关注的是大模型在自然语言数学证明验证上的能力，尤其是奥赛级证明：这类证明的推理链较长，需要对其中每一条断言逐一核对，而目前批改主要依靠专家人工完成，规模化的代价很高。作者为此整理了一个由人工筛选、并由专家给出评分的 USAMO 2025 候选解答数据集，作为评测基础。在此基础上，作者对现有的大模型验证器做了范围较广的评估，覆盖多个前沿模型，目的是看清当前模型在这类任务上的真实水平，而不是只看解题成绩。
评测规模与对抗样本
评测设计覆盖 20 个模型、七项指标、两种提示风格、三种推理方法和三种提示模板，从多个维度考察验证器的稳定性与准确性。结果显示，即便是当前最强的模型，在奥赛证明批改上仍有相当大的改进余地。为了在规模上检验验证器的鲁棒性，作者还提出 TROJAN，这是一种迭代自我批判流程，能够批量生成高保真的对抗性证明，用来暴露验证器在长推理链中容易漏判或误判的环节。
MABGrader 的做法与结果
针对评测暴露出的差距，作者提出 MABGrader，把评分问题重新表述为在离散分数空间上做多臂老虎机式的选臂决策，而不是让模型直接输出一个分数。与 SOTA 的 ProofGrader 相比，MABGrader 在 Quadratic Weighted Kappa 这一一致性指标上高出 26.4%，同时把评分误差降低了 14%。论文的代码与数据集均已公开，可供复现与后续研究使用。
为什么值得看
奥赛证明批改长期依赖专家人工，成本高、难扩展；该研究给出数据集、对抗样本生成方法与可量化的评分框架，对自动评测数学推理…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。