注册

SqueezeBench：抗饱和数学能力评测基准发布

论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究者发布 SqueezeBench，一种不会因问题被解决而饱和的数学能力评测基准。每个问题固定一个整数函数 f(n)，基准维护其上界与下界的记录；提交者需给出可计算的 Lean 函数并附机器验证的证明，证明其界定 f、不劣于当前记录且在某 n 处严格更优，被接受后即成为新记录。证明由两个独立 Lean 内核检查。基准发布十个极值组合学问题、二十个已证明的初始记录及准入工具。基于前沿语言模型的智能体在每条记录最多一小时限制下，有 82 份提交被接受并改进全部记录；两个更新模型的智能体从这些记录出发，又有 60 份提交被接受，再次改进二十条记录中的十九条。十个问题中有八个，至少一条记录仍渐近落后于已发表的最佳界。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

抗饱和的评测设计

SqueezeBench 针对数学能力评测中已解问题基准饱和、开放问题只能被首次解决一次的问题，提出一种成功即抬高门槛的机制。每个问题固定一个整数函数 f(n)，其取值仅在小 n 时已知，基准为其维护下界与上界两条记录。记录是一个可计算的 Lean 函数，并附带机器可检查的证明，说明该函数界定了 f。提交者需提出新函数并证明三件事：它界定 f、在任何 n 处不劣于当前记录、且在某 n 处严格更优。一旦被接受，该函数就成为下一条提交必须超越的记录。系统因此同时选择界与证明，改进可以发生在单个 n 上，也可以体现在增长速率上。在每个 n 处，两条记录之间的差距显示已认证的界距离确定 f(n) 还有多远。

证明核验与防穷举

所有证明由两个独立的 Lean 内核检查，因此无需人工审稿人核验数学内容。检查机制还会拒绝那些在小 n 处通过穷举搜索计算 f 的函数，维护者只需阅读提交者的报告，并检查其在更大 n 处是否存在此类搜索。这一设计把数学正确性的判定交给机器，同时保留对规避性提交的人工抽查。基准随发布提供十个来自极值组合学的问题、二十个已证明的初始记录以及准入工具，供后续提交使用。

基线智能体表现

作为基线，基于前沿语言模型的智能体在每条记录最多一小时的限制下，共有 82 份提交被接受，并改进了全部记录，且未超出已发表文献的范围。随后，基于两个更新模型的智能体从这些记录出发，又有 60 份提交被接受，再次改进了二十条记录中的十九条。在十个问题中，有八个问题至少有一条记录仍渐近落后于已发表的最佳界，说明该基准在已有文献之外仍留有提升空间。

为什么值得看

评测不再因题目被解出而失效，提交即抬高门槛，且证明由机器内核自动核验，为数学能力提供可持续的衡量方式。

智能体数学能力

信源1 家

  1. [1]arXiv cs.AI一手信源SqueezeBench: Saturation-Resilient Evaluation of Mathematical Capability

关键事实

  • SqueezeBench 的每个问题固定一个整数函数 f(n)，基准维护其上界与下界的记录，成功提交会抬高门槛而非移除问题。[1]

  • 提交需给出可计算的 Lean 函数并证明其界定 f、不劣于当前记录且在某 n 处严格更优，证明由两个独立 Lean 内核检查。[1]

  • 基准发布十个极值组合学问题、二十个已证明的初始记录以及准入工具。[1]

  • 基于前沿语言模型的智能体在每条记录最多一小时限制下，有 82 份提交被接受并改进全部记录。[1]

  • 两个更新模型的智能体从这些记录出发，又有 60 份提交被接受，再次改进二十条记录中的十九条。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论