APSD：按正确性构造非对称目标的自蒸馏策略优化方法
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 Asymmetric Policy Optimization via Self-Distillation（APSD），针对自蒸馏策略优化中直接对齐自教师分布的问题：这种做法会破坏正确 rollout 上已有的成功行为，同时对错误 rollout 的纠正力度不足。APSD 按正确性构造目标分布，将学生分布与自教师分布混合：在正确样本上做插值以保留成功行为，在错误样本上做外推以加强纠正。作者用散度分解、反向 KL 重心几何与梯度分析进行论证，并在可验证奖励与丰富反馈的强化学习设定下实验，结果显示 APSD 整体优于强化学习与自蒸馏基线，在 Qwen3 各规模上平均以 2.6 倍更少的训练步数达到 SDPO 的表现。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法要解决的问题
自蒸馏策略优化借助带反馈条件的自教师，为大模型后训练提供 token 级密集监督。但论文指出，直接把学生分布对齐到自教师分布存在两难：在模型已经答对的 rollout 上，这种对齐会扰动原本成功的行为；在答错的 rollout 上，对齐提供的纠正又不够强。APSD 的思路是不再使用统一目标，而是让目标分布随 rollout 的正确性变化，从而在同一套自蒸馏框架内分别处理「保住对的」和「改掉错的」两种需求。
插值与外推的目标构造
APSD 把学生分布与自教师分布混合来生成目标：在正确 rollout 上做插值，使目标落在学生与自教师之间，避免过度偏离已有的成功行为；在错误 rollout 上做外推，让目标越过自教师分布，从而施加比普通自蒸馏更强的纠正信号。论文强调，目标依赖学生分布本身，因此梯度能否流经这一依赖关系十分关键，作者也把这一点作为分析重点。
理论分析与实验结论
作者用三种工具解释该方法：散度分解用于拆解目标与学生之间的差异来源，反向 KL 的重心几何用于说明混合分布的位置关系，梯度分析用于讨论学生依赖目标下的梯度流动。实验覆盖可验证奖励与丰富反馈两类强化学习设定，APSD 在整体表现上强于强化学习基线和自蒸馏基线；在 Qwen3 的多个模型规模上，它平均用 2.6 倍更少的训练步数达到 SDPO 的效果，说明该目标构造在样本效率上有明显收益。
为什么值得看
自蒸馏后训练中「正确样本被带偏、错误样本纠不动」是常见痛点，该文给出按正确性区分插值/外推的目标构造与理论分析，并报告…
Qwen强化学习蒸馏对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。