APSD：按正確性構造非對稱目標的自蒸餾策略優化方法
論文AI 評分 68/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
論文提出 Asymmetric Policy Optimization via Self-Distillation（APSD），針對自蒸餾策略優化中直接對齊自教師分佈的問題：這種做法會破壞正確 rollout 上已有的成功行為，同時對錯誤 rollout 的糾正力度不足。APSD 按正確性構造目標分佈，將學生分佈與自教師分佈混合：在正確樣本上做插值以保留成功行為，在錯誤樣本上做外推以加強糾正。作者用散度分解、反向 KL 重心幾何與梯度分析進行論證，並在可驗證獎勵與豐富反饋的強化學習設定下實驗，結果顯示 APSD 整體優於強化學習與自蒸餾基線，在 Qwen3 各規模上平均以 2.6 倍更少的訓練步數達到 SDPO 的表現。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載方法要解決的問題
自蒸餾策略優化藉助帶反饋條件的自教師，為大模型後訓練提供 token 級密集監督。但論文指出，直接把學生分佈對齊到自教師分佈存在兩難：在模型已經答對的 rollout 上，這種對齊會擾動原本成功的行為；在答錯的 rollout 上，對齊提供的糾正又不夠強。APSD 的思路是不再使用統一目標，而是讓目標分佈隨 rollout 的正確性變化，從而在同一套自蒸餾框架內分別處理「保住對的」和「改掉錯的」兩種需求。
插值與外推的目標構造
APSD 把學生分佈與自教師分佈混合來生成目標：在正確 rollout 上做插值，使目標落在學生與自教師之間，避免過度偏離已有的成功行為；在錯誤 rollout 上做外推，讓目標越過自教師分佈，從而施加比普通自蒸餾更強的糾正信號。論文強調，目標依賴學生分佈本身，因此梯度能否流經這一依賴關係十分關鍵，作者也把這一點作為分析重點。
理論分析與實驗結論
作者用三種工具解釋該方法：散度分解用於拆解目標與學生之間的差異來源，反向 KL 的重心幾何用於說明混合分佈的位置關係，梯度分析用於討論學生依賴目標下的梯度流動。實驗覆蓋可驗證獎勵與豐富反饋兩類強化學習設定，APSD 在整體表現上強於強化學習基線和自蒸餾基線；在 Qwen3 的多個模型規模上，它平均用 2.6 倍更少的訓練步數達到 SDPO 的效果，說明該目標構造在樣本效率上有明顯收益。
為什麼值得看
自蒸餾後訓練中「正確樣本被帶偏、錯誤樣本糾不動」是常見痛點，該文給出按正確性區分插值/外推的目標構造與理論分析，並報告…
Qwen強化學習蒸餾對齊論文
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。