TSBPO：面向交互式语言智能体的树状分支策略优化方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三个耦合问题
论文把从终局结果训练交互式语言智能体拆成三个相互牵连的难点：在有限的 rollout 预算下该采样哪些任务与状态延续；延迟到达的反馈如何分配到具体决策上；一个动作由多个 token 组成时，token 级损失如何聚合。TSBPO 的主张是不把这三件事分开处理，而是在一个训练循环里同时解决，从而让采样、优势估计与策略梯度更新共享同一套树结构。
树上的优势与损失
方法的核心是回放出的物理树。拟合似然的 Root/Branch 分配器利用保留的任务与状态证据，优先挑选在固定预算下更可能产生对比性终局结果的延续。在这棵树上，轨迹优势通过比较相邻兄弟片段得到，观测组步优势则在匹配的任务/观测状态下比较结果。actor 更新时，对每个完整响应累加裁剪后的 token 替代项，再按活跃轮次归一化，而不是按响应长度做平均，以避免长响应在策略梯度项中被稀释。
基准结果与消融
实验使用 Qwen2.5-1.5B 作为 actor。ALFWorld 上固定检查点取得 97.79% 已见与 96.64% 未见随机成功率；WebShop 的 500 个测试目标各执行六个随机回合，单回合成功率 81.07%。消融方面，WebShop 的步项消融在同一 update-100 评估下为 75.93%；ALFWorld 的聚合方式对比显示，按完整轮次加权时观测到的命令有效性更高。作者将这些结果限定为对所评估训练配置在两个交互式基准上的支持。
为什么值得看
给出了交互式智能体从终局反馈训练的具体采样与损失聚合方案，并附两个基准的量化结果，可对照自己的训练管线。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。