R2S 方法修复教师评分器，智能体蒸馏平均提升 12.8 个百分点
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载误差累积解释的缺口
论文针对智能体在线策略蒸馏展开：学生智能体在自己的轨迹上训练，教师对每个 token 打分。常见解释是误差累积，即学生的失误把轨迹带出教师可靠的区域，于是近期方法用回合长度课程、教师引导轮次、前缀回放或在双方分歧处让教师介入，把训练限制在该区域内。作者从学生与教师偏离最大的状态出发做检验，发现教师亲自接管仍能完成任务，但用其 token 分数训练的学生依旧耗尽轮次，说明上述解释并不完整。
短视打分与 R2S 流程
作者把问题归于下一 token 打分的短视：教师逐 token 评分时看不到回合在哪里结束，因此会放行那些安全但拖延的动作；而基于结果的强化学习会用零奖励惩罚这类动作，智能体 OPD 缺少这一惩罚。教师实际做出的动作与其给出的分数之间的差异，被称作 rollout-scorer gap。R2S 的做法是先修复评分器再蒸馏：从未训练的学生身上挖掘高分歧状态，从这些状态执行教师接管，保留足够多接管能通过无奖励校验的状态，校验方式如共识或 LLM 评判；随后微调教师，使其在分歧轮之后对每个助手 token 给出带有接管信息的分数，而上下文中并不放入接管内容。
实验设置与结果
修复后的教师被冻结，作为标准 OPD 的唯一评分器，整个修复与训练过程都不需要任务奖励。实验覆盖三个环境、两个教师与四个学生，共十二个教师—学生—环境组合。R2S 在全部十二个组合中都优于三种现有智能体 OPD 方法，相对每个组合中表现最好的那一种，平均成功点高出 12.8。论文共 17 页，含 5 张图与 13 张表，并提供了项目页面。
为什么值得看
它把智能体蒸馏的瓶颈定位到评分器短视，并给出无需任务奖励的修复流程，对做 agent 训练的人可直接借鉴。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。