新方法让语言智能体边行动边预测，样本效率最高提升2倍
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出让语言智能体的行动与预测能力共同演化。现有智能体强化学习只用最终标量奖励，中间步骤的监督信号大多被浪费；已有的价值目标或观测目标又难以构造。该方法在成功轨迹上训练策略骨干生成后续动作序列，并让每个动作在由前序历史预测时也受到监督，形成时序集成，推理时仍逐步行动、无额外开销。在 ALFWorld、ScienceWorld、WebShop、τ²-bench、AppWorld 五个基准上，其综合表现优于 GRPO 及带预测辅助目标的 RL 基线；在 ScienceWorld 上样本效率分别最高达 ECHO 的 1.9 倍、GRPO 的 2.0 倍，且仅用单一策略骨干，无需额外模型、单独预训练或推理开销。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载中间步骤监督为何难用
语言智能体的训练受长程 rollout 成本高所限。常见的智能体强化学习只从最终标量奖励学习，轨迹中间步骤的监督信息基本闲置。此前有工作尝试用价值目标估计每步成功概率，或用观测目标拟合环境响应，但两者都不易做好：价值目标对轨迹中每一步都来自同一个标量信号，区分度有限；观测目标如网页和终端日志冗长且噪声大，且只能覆盖向前一步。论文正是针对这两类目标的缺陷提出替代方案。
动作序列作为第三类目标
该方法引入第三类多步动作目标。在成功的同策略轨迹上，训练策略骨干根据每个历史生成其后的动作序列；同时，每个动作在由前序历史预测时也接受监督。这样形成一种时序集成，由共享骨干在训练中吸收，使行动与预测相互促进、共同演化。推理阶段策略仍是一步一步行动，因此不增加额外开销。整个过程只用单一策略骨干，不需要额外模型、单独预训练或推理期开销。
五个基准上的实测结果
论文在 ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld 五个基准上评估。结果显示：在模拟环境中，其综合表现强于 GRPO 以及使用预测辅助目标的 RL 基线，同时在两个贴近真实应用的基准上整体表现也有提升；在 ScienceWorld 上，样本效率最高达到 ECHO 的 1.9 倍、GRPO 的 2.0 倍。这些增益是在单一策略骨干、无额外模型与推理开销的条件下取得的。代码库已公开。
为什么值得看
用动作序列预测替代难构造的价值/观测目标，给出可复用的智能体训练思路与实测增益。
智能体强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。