ActionOPD：以语义动作为单位蒸馏语言模型智能体
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载监督单位为何换成动作
论文关注的问题是把有能力的语言模型智能体蒸馏到更小的模型时，学生的行为如何与教师对齐。作者指出，离线模仿能提供密集监督，但监督落在具体 token 上，并且存在状态分布不匹配的问题；token 级的在线策略蒸馏（OPD）缓解了分布不匹配，却通常需要教师 token 概率以及兼容的分词方式。论文主张语义动作才是智能体蒸馏更自然的监督单位，由此提出 ActionOPD，目标是在学生实际遇到的状态上最大化教师动作的期望似然。
方法如何运作
ActionOPD 在每个学生遇到的状态上，同时从学生和一个黑盒教师采样动作，然后根据学生动作与采样到的教师动作之间的语义一致程度来奖励学生动作。通过策略优化，学生的动作级行为向教师的决策靠拢。这一过程不需要学生复现教师写出的推理内容，也不需要访问教师的 token 概率。论文强调该方法不要求教师与学生属于同一模型家族，也不要求两者共享分词器，这降低了蒸馏对教师接口的依赖。
实验结果与扩展
论文用两个教师训练 Qwen3-4B 和 Qwen3-8B，在多样且经过筛选的工具使用任务上训练，在四个分布外基准上取得平均 3.3 至 6.9 个百分点的提升。作者称 ActionOPD 随学生规模和教师能力扩展表现良好。在 τ²-bench 上，它与离线蒸馏和 token 级 OPD 相比具有竞争力。论文还探索了 Self-ActionOPD，即使用同模型教师并配合特权上下文。作者据此认为 ActionOPD 是智能体蒸馏的一条有前景的路径。
为什么值得看
把蒸馏监督从 token 换成动作，绕开教师概率与分词器限制，为小模型智能体训练提供新思路。
信源1 家
关键事实
论文标题为 ActionOPD: Distilling Decisions, Not Tokens，作者包括 Huining Yuan、Xiangmin Yi、Zelai Xu 等八人[1]
方法在学生对局遇到的状态上，从学生和黑盒教师分别采样动作，按语义一致程度奖励学生动作[1]
训练 Qwen3-4B 与 Qwen3-8B、使用两个教师，在四个分布外基准上平均提升 3.3 至 6.9 个百分点[1]
方法不要求教师与学生属于同一模型家族或共享分词器，也不需要教师 token 概率[1]
在 τ²-bench 上，ActionOPD 与离线蒸馏和 token 级 OPD 表现相当，并探索了同模型教师加特权上下文的 Self-ActionOPD[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。