研究提出选择性长轨迹精炼法提升终端智能体训练效率
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载监督长度成为设计轴
这篇投稿把终端智能体的训练方式拆开来看：以往常见做法是让模型模仿教师给出的整条长轨迹，但每条轨迹里究竟保留多少内容用于监督，此前并没有被单独研究。作者把保留下来参与训练的轨迹 token 数量称为监督长度，并把它当作影响可靠性与成本的一条关键设计轴。围绕这一轴，他们观察到可靠性并非随长度单调上升，而是会出现饱和现象。在 Terminal-Bench 上，12K token 的监督长度解出的任务数高于 16K，同时训练所需时间更少。这一结果说明，把整条长轨迹全部拿来监督，未必是更划算的选择。
长度塑造智能体行为
监督长度还会改变智能体在任务中的表现方式。按论文的描述，较短的监督长度会让智能体过早终止动作，中间长度的监督则能带来有效的错误恢复，而较长的监督会诱发过度坚持。作者用偏差—复杂度界来解释这种饱和：监督越长，时间维度上的监督偏差越小，但后期历史更加异质，有限样本带来的估计误差随之增大。基于这一分析，他们提出选择性长程精修的做法，先在短前缀上训练，再只对那些在热启动模型下最可能出现的后续片段做精修。论文称该方法稳定优于完整的长程训练。
精修带来的具体变化
在 16K 这一长度上，选择性长程精修把成功尝试次数从 110±2.7 提升到 126±2.1，把八次尝试中至少成功六次的任务数从 9±0.7 提升到 14±0.6。即便只使用一半的长程数据，它仍能达到 122±2.4，并减少训练时间。这种收益还能迁移到其他基准：在 Terminal-Bench v2.0 上从 64±2.6 提升到 73±2.1，在 OpenThoughts-TBLite 上从 137±2.7 提升到 155±2.2。论文由此给出的判断是，做长程监督时，挑选合适的轨迹比把全部轨迹都拿来训练更重要。对读者而言，这意味着在终端智能体的训练流程里，监督长度与轨迹筛选值得作为可调项单独对待。
为什么值得看
揭示轨迹监督步数饱和效应，提供降本增效的轨迹筛选训练法，对长轨迹智能体训练有直接指导价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。