AOPD：按优势加权筛选教师动作的在线策略蒸馏方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载标准在线蒸馏的假设
在线策略蒸馏（OPD）相较监督微调等离线方法通常表现更好，原因在于训练数据直接来自学生自身采样的轨迹。但标准 OPD 有一个隐含前提：轨迹上每个状态都应跟随教师，教师指导被当作始终有益。作者对此提出质疑，把「教师偏好什么」与「什么真正帮助当前学生成功」区分开来。这一区分意味着，教师给出的动作即使在其自身分布下最优，放到能力不同的学生身上也可能带来负面效果，因此需要对教师监督做筛选而非全盘接受。
用优势给教师动作加权
AOPD 的核心做法是按教师动作在学生视角下的反事实优势进行加权：能改善学生期望结果的动作被强化，不能改善的被降权。难点在于，直接计算这种优势需要在每一步尝试其他教师动作，并从每个分支重新展开轨迹，成本很高。作者给出的替代方案是仅使用标准学生轨迹及其终端奖励来估计目标，通过教师对学生所采样动作的重要性权重，构造无偏的优势加权监督。这样既保留了标准 OPD 的采样效率，又不需要额外采样或额外的奖励评估。
实验设定与结果
论文在数学、代码和 Medqa 三类任务上做了验证，覆盖外部教师蒸馏与自蒸馏两种设定，并与蒸馏方法和强化学习基线对比。结果显示 AOPD 在这两类设定下都取得优于基线的表现。材料未披露具体提升幅度、所用模型规模与训练细节，因此这些结论的适用范围仍需结合原文的实验部分判断。对从事模型压缩与后训练的研究者而言，该方法的可关注点在于它不改变采样流程，只改变监督信号的加权方式。
为什么值得看
蒸馏时教师指导并非总是有益，这篇给出一种不增加采样成本的优势加权方案，并附数学、代码、医疗问答实验对比。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。