mini-Lean-agent:仅用 bash 的极简智能体在 Lean 基准…
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载极简工具设计的出发点
论文指出,通用编码智能体通常使用标准的 shell 与文件交互,而形式化定理证明智能体往往依赖专门定制的工具链。这种差异使得研究者难以判断定理证明智能体的基准提升究竟来自哪里:是基座模型更强、框架更专门、某个特定工具,还是这些因素的组合。为厘清这一点,作者构建了 mini-Lean-agent,刻意保持极简,模型可见的唯一工具是 bash。模型必须借助 bash 完成查看与修改仓库、搜索本地库、调用 Lean,以及管理自己的中间工作,最终产物交由一个独立的可信评估器验证。这种设计把变量压到最少,便于观察通用编码能力本身在 Lean 任务上的表现。
基准对比与成本数据
作者在 Putnam 2025 基准上把 mini-Lean-agent 与 AxProverBase、Numina-Lean-Agent 进行比较。以 Gemini 3.8 Flash 作为基座模型时,在每题 2 美元的预算限制下,mini-Lean-agent 解出 12 题中的 7 题,而 AxProverBase 解出 4 题。换用 Astra 作为基座模型后,mini-Lean-agent 解出全部 12 题,平均每题成本为 1.28 美元。这些结果说明,一个通用编码智能体配上极简框架,已经能在 Lean 基准上取得较强表现,而基座模型的选择对最终成绩有明显影响。
作为标准基线的建议
基于上述结果,作者提出把 mini-Lean-agent 用作评估定理证明基础设施时的标准基线。其逻辑在于:当智能体只保留 bash 这一通用接口时,任何额外的性能提升都更容易归因到基座模型或具体组件上,而不是被专用工具链的复杂度掩盖。该论文被第 6 届数学推理与 AI 研讨会(NeurIPS 2026)接收,为后续比较不同定理证明方案提供了一个可参照的起点。
为什么值得看
用极简 bash 框架对比专用定理证明智能体,给出可复现的基准与成本数据,为评估此类系统提供参照。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
