SAPD：不与环境交互，从离线轨迹训练 LLM 智能体
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 SAPD（Step-Advantage Policy Distillation），目标是在不重新进入可执行环境的前提下，利用已有离线多轮轨迹继续优化 LLM 智能体策略。该方法把多轮轨迹拆成单个决策上下文做同策略蒸馏，学生模型基于记录的历史生成回复，并引入相对步优势信号稳定训练，全程不需要新的环境观测或额外多轮交互。在 ALFWorld、WebShop 和基于搜索的问答任务上，SAPD 在不同教师配置下均有提升，相比 SFT 缓解了灾难性遗忘，每个训练步比在线 OPD 至少快 4.7 倍。作者表示代码将很快放出。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
扩展 LLM 智能体的训练规模，通常依赖大量可执行环境，而这些环境的搭建、维护与运行本身就限制了训练经验的扩张。已有离线轨迹提供了复用交互经验的机会，但要在不重回这些环境的情况下有效改进当前策略并不容易：监督微调（SFT）可能引发灾难性遗忘，在线强化学习则要求与环境实时交互。论文正是针对这一矛盾提出方法。
方法怎么做
SAPD 的核心是把多轮轨迹拆解成一个个独立的决策上下文，用于同策略蒸馏：学生模型以记录下来的历史为条件生成回复，而不是重新采样环境。训练中还引入相对步优势信号来稳定整个过程。按论文描述，全流程既不需要新的环境观测，也不需要额外的多轮交互，因此避开了在线强化学习对环境的依赖。
实验与对比
实验覆盖 ALFWorld、WebShop 和基于搜索的问答三类任务。结果显示，SAPD 在不同教师配置下都能提升表现，与 SFT 相比减轻了灾难性遗忘，并且每个训练步的运行速度至少是在线 OPD 的 4.7 倍。论文由 Juncheng Diao 等七位作者提交，代码计划很快公开。
为什么值得看
智能体训练长期受限于可执行环境的搭建与维护成本，这项工作给出了复用离线轨迹、免环境交互的蒸馏路径，并给出速度与遗忘方面…
智能体蒸馏论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。