arXiv 论文:环境无关编程智能体的脚手架作用研究
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载研究问题与实验设置
论文关注一个具体问题:更强的语言模型或许能自行构建有用的流程,从而削弱开发者提供脚手架的优势,但这一优势为何仍然存在,以及环境无关的智能体能否在不做环境专属工程的情况下被改进。作者用基于 Codex 的智能体,在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上比较两种几乎相同的提示变体。两种变体在各环境中部署的代码、提示和通用工具都不变,环境专属信息只作为输入传入,因此差异被压缩到提示措辞这一层。这种设计让观察到的分数变化更容易归因到指令本身,而不是环境适配的工程量。
一条指令带来的变化
改动的内容很小:只调整一条指令,鼓励智能体报告遇到的困难,并把控制权交回以便自动继续。仅此一项,ARC-AGI-3 和 AGI Maze 的平均分就上升,Terminal-Bench 则出现幅度不大、方向不一的变动。不过通用智能体仍低于 ARC-AGI-3 的专用参考方案,即便换成 GPT-5.6-sol 也一样。作者指出,该参考方案规定的是组织与控制方式,并没有提供新的游戏规则或现成解法,因此差距更可能来自信息与工具的使用方式,而非信息本身的有无。
控制权转移与经验的反效果
为弄清差距来源,作者把重置决策交给一个脚本控制器,该控制器遵循已经给过智能体的约定。这一小改动挽回了专用智能体的一部分优势。另一项 AGI Maze 的补充实验给出相反方向的信号:额外的教程经验反而可能拉低表现。作者由此强调,拥有可用的信息和工具,与有效使用它们,是两件不同的事;对本次测试的模型而言,外部提供的流程仍然重要。
成本与结论边界
作者同时说明,性能提升伴随更高的 token 成本,而且实验无法把「更好地使用信息与流程」和「更多或重新分配的推理」区分开。论文提供了 EnvTraverse 框架和一个经过评估的基线智能体,用于检验后续的环境无关改动能否在部分环境中提升表现、同时不拖累其他环境。全文 37 页、5 张图。
为什么值得看
想知道提示与脚手架对编程智能体成绩的实际影响、以及通用方案与专用方案差距来源的读者值得一看。
信源1 家
关键事实
论文提交于 2026 年 10 月 15 日,作者为 Sergey Rodionov,编号 arXiv:2610.22289。[1]
实验在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 三个环境上评估基于 Codex 的智能体。[1]
只改动一条鼓励报告困难并交回控制权以自动续跑的指令,ARC-AGI-3 与 AGI Maze 平均分上升,Terminal-Bench 变化小且方向不一。[1]
通用智能体仍低于 ARC-AGI-3 专用参考方案,包括使用 GPT-5.6-sol 时;该参考方案规定组织与控制方式,而非提供新规则或解法。[1]
把重置决策交给遵循既有约定的脚本控制器,可挽回部分专用智能体的优势;AGI Maze 实验显示额外教程经验反而可能降低表现。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
