Muhan Zhang发布Endless Exam数学基准
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载十四类构造题构成考卷
这份名为 Endless Exam 的基准把数学能力拆成十四组带参数的构造题族，每道题要求提交一个具体的数学对象，而不是选择一个选项。系统对提交对象自动做有效性校验，再把它与已公开的前沿结果或构造基线放在一起比较，给出一个相对质量分。与常见的对错判定不同，这个分数不设上限，改进幅度超过基线一倍也不会被截断，因此同一道题上不同水平的解答可以拉开差距。题族中有部分取材于尚未解决的开放数学问题，被用作长期目标；同时生成器能在更大参数下产出新实例，配合紧凑的证书机制，使规模很大的构造仍然可以被验证。作者把生成器、验证器、参考结果、模型作答与分析一并公开，目的是让测量在人类前沿之前和之后都能延续。
八模型六十九实例的评分
评测覆盖八个模型、六十九个互不相同的实例。结果显示，尽管没有任何一个受测系统超过已公布的前沿水平，连续的质量分依然能把它们区分开，而不是全部落在同一个失败档位上。这说明评分方式在尚未触及上限的阶段就有分辨力，模型之间的差距体现在构造的优劣上，而非能否通过。材料还给出规模与质量的关系曲线，用来呈现题目参数变大时构造质量如何变化，读者可以据此判断模型能力是随规模稳定、衰减还是出现波动。论文共五十一页，含十三幅图与二十五张表，图表与表格承载了这些逐实例的对比细节。
与传统对错式评测的差别
常见数学基准多以最终答案是否正确计分，题目规模固定，答对即满分，答错即零分，难以刻画接近正确但构造不完整的中间状态。Endless Exam 的做法是把评分锚定在公开的前沿或基线构造上，输出相对质量值，并允许分数超过参照物，因此进步空间不被封顶。另一处差别在于题目可扩展：参数增大后生成新实例，靠紧凑证书控制验证成本，使大规模构造不至于无法核验。适用范围上，它衡量的是构造类数学任务的产出质量，材料未提及其他类型任务的覆盖情况；限制在于当前受测系统均未越过已公布前沿，分数反映的是相对位置而非绝对水平。
公开产物与可复用性
随论文放出的内容包括题目生成器、验证器、参考结果、模型作答以及分析材料，读者可以据此复现评分流程，或在更大参数上自行生成实例继续测量。对关注模型数学能力演进的人来说，这意味着获得了一套可延展的标尺：既能比较当下模型之间的细微差别，也能在模型水平提升后继续使用同一套题族，而不必因题目被做满而更换考卷。材料同时说明，这套基准面向的是从当前模型走向更强系统过程中的持续测量，其价值在于测量方法本身可被复用与检验。
为什么值得看
提供无上限评分与无限生成机制，为追踪模型超越人类前沿的数学能力提供新度量标准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。