注册

DecompGym 基准测试：12 个模型设计分解算法的能力与失败模式

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究者发布 DecompGym，包含来自九个问题族的 81 个实例（五个 Benders 分解、四个列生成），要求智能体为指定方法编写求解器。求解器须在 60 秒内运行、通过数值可行性与 LLM 评审读码的方法审计、目标值落在存储最优解 1% 以内。评测 12 个 GPT、Claude、Gemini 模型在编码智能体工具中的表现，最多十次尝试，对比独立重生成与先诊断失败的反思策略。首次尝试即有两个模型解出全部实例，七个模型解出超过 90%。Benders 失败 62 次中 48 次为缺解或次优解；列生成最常见失败是被方法审计拒绝。仅看输出检查会放过 108 次方法审计失败中的 93 次。反思把 66% 的重试转为成功，重生成仅 39%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

基准怎么设计

DecompGym 面向 Benders 分解与列生成这两类在主子问题间传递割、列与对偶值的优化算法，二者实现难度高。基准收录九个问题族的 81 个实例，智能体需按指定方法写出求解器。判定分三层：运行时间不超过 60 秒；数值可行并接受方法审计，审计由 LLM 评审直接阅读求解器代码；目标值与存档最优值相差不超过 1%。这套设计把「答案对不对」和「方法对不对」拆开考察。

模型表现与失败分布

评测对象是 12 个来自 GPT、Claude、Gemini 的模型，均运行在编码智能体工具内，允许最多十次尝试。首次尝试就有两个模型通过全部实例，七个模型通过率超过 90%，说明基础实现能力已不低。失败集中在方法层面：Benders 的 62 次失败里有 48 次是解缺失或次优；列生成最常见的失败是被方法审计拒绝，而非输出数值不合格。

只看输出会漏掉什么

材料给出一个关键对照：若只用输出检查，108 次未通过方法审计的尝试中会有 93 次被误判为通过。最常见的审计拒绝原因是所谓 optimalif，共出现 96 次，其中 92 次集中在某一处。这说明求解器可能给出看似正确的目标值，却在求解路径上偏离指定方法，单靠结果比对无法识别。

重试策略的差异

在重试环节，反思策略先把失败诊断清楚再改，把 66% 的重试变成成功；独立重生成只有 39%。反思还能修复方法审计类失败，因为评审会指出具体缺陷所在。材料由此得出的方向是：面向分解算法的智能体既需要检查求解器如何得到答案，也需要能定位错误的反馈信号。基准已公开。

为什么值得看

揭示编码智能体做算法设计时的真实短板：输出对不代表方法对，审计与定位错误的反馈才是关键。

GPTClaudeGemini智能体基准测试

信源1 家

  1. [1]arXiv cs.AI一手信源DecompGym: Benchmarking LLM Agents on Designing Decomposition Algorithms

关键事实

  • DecompGym 含九个问题族的 81 个实例，其中五个为 Benders 分解、四个为列生成[1]

  • 求解器需满足 60 秒时限、数值可行性与 LLM 评审读码的方法审计、目标值在最优解 1% 以内[1]

  • 评测覆盖 12 个 GPT、Claude、Gemini 模型，运行于编码智能体工具中，最多十次尝试[1]

  • 首次尝试有两个模型解出全部实例，七个模型解出超过 90%[1]

  • 反思将 66% 的重试转为成功，独立重生成仅 39%[1]

相关 · 论文

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论