研究:编码智能体成本由轮次而非观测大小主导
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载循环工程与既有优化
AI 编程智能体以迭代方式工作:改动代码、调用工具、查看返回结果,再决定下一步动作。论文把这一整套流程的设计称为循环工程,涵盖上下文管理、模型选择、压缩与终止条件。已有的提效思路主要有两类,一是对工具返回的观测内容做压缩,二是把部分轮次改派给更便宜的模型。论文认为,这两类做法究竟能省下多少,此前并没有被清楚地量化。
观测其实并不大
作者分析了 600 条公开的编程智能体轨迹,覆盖两种智能体脚手架和两种语言模型。结果显示,观测内容的中位数只有 118 到 286 个 token;那些常被拿来论证压缩必要性的庞大构建日志,出现在接近第九十九百分位的位置。也就是说,被当作典型场景的大日志属于尾部情况,而中位水平的观测本身规模有限。
缓存改变成本账
论文指出,输入 token 中有 98.6% 由前缀缓存提供。在接近理想缓存的条件下,按平坦的输入价格估算循环成本,平均会高估约 7 倍。作者还推导并验证了模型委派的盈亏平衡条件,发现在所评估的设置中有一半情况下委派反而推高成本,且这些情况都靠近预测的边界。
轮次数才是主因
进一步看,轮次数能解释日志轨迹成本方差的 84%,而平均观测大小只解释 4%。成本最高的那些轨迹轮次最多,观测却最小。作者据此认为,以观测为目标的优化打中的是次要成本因素,真正更大且尚未被充分研究的空间在于多余的轮次;不过论文并未证明在保持任务成功的前提下这些轮次可以被去掉。作者同时发布了 TurnCost,用于在不同缓存、定价、压缩与路由策略下重新给轨迹语料打分。
为什么值得看
指出编码智能体的成本瓶颈在轮次而非观测压缩,并给出缓存与委派成本的量化依据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
