RTI：在 rollout 阶段介入，让智能体强化学习突破策略能力边界
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Rollout-Time Intervention（RTI），针对智能体强化学习中的 on-policy 推理瓶颈：当任务超出模型当前能力边界时，有效轨迹极度稀疏，训练容易崩溃。RTI 的做法是在 rollout 阶段利用奖励侧证据（即评估 rubric），把错误轨迹转化为成功轨迹，从而为策略自身很少解出的任务提供学习信号。由于介入轨迹本质上是 off-policy 的，作者通过过滤分布偏移过大的轨迹，使其仍能有效指导策略优化。在五个基准上的实验显示，RTI 稳定优于 RL 基线，后训练策略接近更强的同期 LLM，并越过原有能力边界。代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文指出，强化学习已成为提升大语言模型智能体的关键范式，能让其在交互环境中具备更强的推理、规划与工具使用能力。但现有智能体 RL 方法受制于一个 on-policy 推理瓶颈：一旦任务超出模型当前的能力边界，有效轨迹就变得极度稀疏，训练往往随之崩溃。也就是说，模型解不出的任务恰恰是最需要学习信号的地方，而标准采样流程在这里几乎给不出可用样本。
RTI 的做法
RTI 的思路是在 rollout 阶段进行介入，借助奖励侧证据——即评估 rubric——把原本错误的轨迹转化为成功轨迹，从而在策略自身很少解出的任务上提供有效学习信号。这样做的直接后果是，介入产生的轨迹天然属于 off-policy 数据。作者发现，只要把分布偏移过大的轨迹过滤掉，这些介入轨迹依然能够有效指导策略优化，而不会把训练带偏。
实验与结果
论文在五个基准上做了实验，结果显示 RTI 一致优于 RL 基线。更关键的是两点：后训练得到的策略性能接近显著更强的同期 LLM，并且越过了它原本的能力边界。作者同时公开了代码，便于复现与后续研究。
为什么值得看
做智能体 RL 的人可关注：它用奖励侧 rubric 在采样阶段造出可学信号，缓解难任务轨迹稀疏导致的训练崩溃。
智能体强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。