DMAD對抗蒸餾法實現少步視覺生成SOTA
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載把分佈匹配改成分類
DMAD 的核心改動在於重新表述分佈匹配這一訓練目標。原有的 DMD 方法需要分別估計目標分佈與學生分佈各自的分數，再依據兩者之差來訓練少步學生模型；這種做法要求額外維護一個輔助擴散模型，讓它持續貼合學生不斷變化的分佈，因而帶來額外的顯存與算力開銷。DMAD 把分佈匹配轉化為一個分類問題，直接學習所需的對數密度比。具體實現上，它在同一個共享主幹網絡之上設定兩個判別器頭，分別用於區分真實數據與教師樣本、以及學生生成的樣本，並通過對這些判別器輸出 logits 施加線性損失來訓練學生模型，從而不再需要擬合輔助分數。作者證明，在判別器達到最優時，藉助判別器 logits 與對數密度比之間的經典恆等關係，這些線性損失能夠還原出 DMD 所依賴的分佈匹配梯度。
按噪聲層級調整監督
除分類式表述外，DMAD 還引入了一種基於差距的重加權機制。該機制利用真實數據判別頭在真實樣本與教師樣本之間產生的經驗 logit 差距，來調整教師監督在不同噪聲水平上的強度。也就是說，教師信號並非在所有噪聲層級上被同等對待，而是依據判別器實際給出的差距進行自適應分配。這一設計針對的是少步生成中不同噪聲階段學習難度不均的問題，使學生在各噪聲水平上獲得與其當前狀態相匹配的監督。論文同時給出了理論說明，指出在判別器最優條件下，上述線性損失與 DMD 的分佈匹配梯度相對應，因此重加權並未改變方法的目標基礎，而是在此基礎上調節監督的分佈。
多任務上的實測結果
在圖像與影片生成任務上，DMAD 報告了若干具體指標。在 ImageNet-64x64 上，單步生成取得 1.04 的 Fréchet Inception Distance；在 COCO-10K 上，四步 SDXL 取得 14.47 的 FID；在 Wan2.1-T2V-14B 上，四步配置取得 85.15 的 VBench 總分。論文稱這些數值在參與比較的少步方法以及多步教師模型中均為最優。在 MiniMax-H3-33B 上，四步學生模型在聯合音影片生成任務中，相對 DMD2 取得 79.1% 的整體人類偏好率，相對 rCM 取得 84.6%，統計時不計平局。論文共 28 頁、15 幅圖，代碼、模型與演示均已公開。
對使用者的實際含義
從工程角度看，DMAD 的意義在於去掉輔助擴散模型這一環節。DMD 類方法需要持續擬合學生演化中的分佈，這既佔用額外顯存，也增加每步訓練的計算量；DMAD 用共享主幹加兩個判別器頭替代，訓練時只需對 logits 施加線性損失。對希望把多步擴散或影片模型壓縮到少步的團隊而言，這意味着更低的顯存門檻和更簡單的訓練流程。適用範圍上，論文在圖像生成、文本到影片以及聯合音影片生成三類任務上都給出了結果，說明方法並不侷限於單一模態。限制方面，材料未給出推理延遲、訓練成本或不同硬件條件下的對比數據，因此實際加速幅度與資源節省程度仍需結合具體部署環境判斷。
為什麼值得看
免輔助模型的對抗蒸餾新範式，在圖像與音影片少步生成評測中全面超越多步教師與已有蒸餾法。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。