研究:编码智能体成本由轮次而非观测大小主导

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文分析了 600 条公开的编码智能体轨迹,覆盖两种智能体框架与两种语言模型。数据显示,观测内容的中位 token 数仅 118 至 286,常被用来论证压缩必要的大体积构建日志只出现在接近第 99 百分位处。同时,98.6% 的输入 token 由前缀缓存提供,在近乎理想缓存下,按统一输入价格估算会把循环成本平均高估约 7 倍。作者推导并验证了模型委派的盈亏平衡条件,发现半数评估场景中委派反而增加成本。轮次数量可解释日志轨迹成本方差的 84%,而平均观测大小仅解释 4%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

循环工程与既有优化

AI 编程智能体以迭代方式工作:改动代码、调用工具、查看返回结果,再决定下一步动作。论文把这一整套流程的设计称为循环工程,涵盖上下文管理、模型选择、压缩与终止条件。已有的提效思路主要有两类,一是对工具返回的观测内容做压缩,二是把部分轮次改派给更便宜的模型。论文认为,这两类做法究竟能省下多少,此前并没有被清楚地量化。

观测其实并不大

作者分析了 600 条公开的编程智能体轨迹,覆盖两种智能体脚手架和两种语言模型。结果显示,观测内容的中位数只有 118 到 286 个 token;那些常被拿来论证压缩必要性的庞大构建日志,出现在接近第九十九百分位的位置。也就是说,被当作典型场景的大日志属于尾部情况,而中位水平的观测本身规模有限。

缓存改变成本账

论文指出,输入 token 中有 98.6% 由前缀缓存提供。在接近理想缓存的条件下,按平坦的输入价格估算循环成本,平均会高估约 7 倍。作者还推导并验证了模型委派的盈亏平衡条件,发现在所评估的设置中有一半情况下委派反而推高成本,且这些情况都靠近预测的边界。

轮次数才是主因

进一步看,轮次数能解释日志轨迹成本方差的 84%,而平均观测大小只解释 4%。成本最高的那些轨迹轮次最多,观测却最小。作者据此认为,以观测为目标的优化打中的是次要成本因素,真正更大且尚未被充分研究的空间在于多余的轮次;不过论文并未证明在保持任务成功的前提下这些轮次可以被去掉。作者同时发布了 TurnCost,用于在不同缓存、定价、压缩与路由策略下重新给轨迹语料打分。

为什么值得看

指出编码智能体的成本瓶颈在轮次而非观测压缩,并给出缓存与委派成本的量化依据。

智能体定价论文

信源1 家

  1. [1]arXiv cs.AI一手信源TurnCost: Turns, Not Observations: Cache-Aware Loop Engineering for Coding Agents

关键事实

  • 分析覆盖 600 条公开编码智能体轨迹,涉及两种智能体框架和两种语言模型。[1]

  • 观测内容中位 token 数为 118 至 286,大体积构建日志出现在接近第 99 百分位。[1]

  • 98.6% 的输入 token 由前缀缓存提供,统一输入定价平均高估循环成本约 7 倍。[1]

  • 轮次数量解释日志轨迹成本方差的 84%,平均观测大小仅解释 4%。[1]

  • 作者发布 TurnCost 工具,可在不同缓存、定价、压缩与路由策略下重新评分轨迹语料。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。