BranchOPD：分支式在线策略蒸馏提升数学与智能体任务表现
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法要解决什么问题
在线策略蒸馏（OPD）会在学生自己生成的轨迹上给出教师监督，但一条轨迹在每个决策点只实现一种后续，在有限采样预算下监督覆盖范围受限。BranchOPD 的思路是：先用学生不确定性和师生分歧挑出信息量大的决策点，再从共享前缀出发重采样学生策略的后续，形成分支，并对主轨迹与分支都施加 token 级教师监督。方法作用于数学任务的 token 级决策，以及智能体任务中的轮内决策。论文还提出协议边界修复（PBR），在协议约束下做针对性监督，以缓解重复和无效生成。
成本与效果数据
共享前缀复用带来生成成本下降：相对七条独立轨迹，ALFWorld 上学生生成 token 成本减少约 19%，WebShop 上减少约 31%。效果方面，BranchOPD 在所有评测基准上都超过 Vanilla OPD 和 n=7 的 Multi-Rollout OPD。相对 Vanilla OPD，16 次采样答案的平均数学准确率（avg@16）提升 18.55 个百分点，ALFWorld 的 ID/OOD 平均成功率提升 13.8 个百分点。
机制分析与消融
论文通过机制分析和选择消融说明，在不确定的决策点分支能够扩展后续行为覆盖，效果优于随机选择，也优于在轮次起始处分支。这说明分支位置的选择本身是方法有效性的关键，而不只是增加采样数量。
为什么值得看
用不确定性选点分支，在降低采样成本的同时提升蒸馏效果，对做策略蒸馏与智能体训练的人有直接参考价值。
信源1 家
关键事实
BranchOPD 依据学生不确定性和师生分歧选择决策点，从共享前缀重采样学生策略的后续分支，并对主轨迹和分支施加 token 级教师监督。[1]
共享前缀复用使 ALFWorld 上学生生成 token 成本降低约 19%，WebShop 上降低约 31%。[1]
BranchOPD 在全部评测基准上优于 Vanilla OPD 和 n=7 的 Multi-Rollout OPD。[1]
数学平均准确率（avg@16）较 Vanilla OPD 提升 18.55 个百分点，ALFWorld ID/OOD 平均成功率提升 13.8 个百分点。[1]
论文还提出协议边界修复（PBR），在协议约束下施加针对性监督以减少重复和无效生成。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。