像素擴散Transformer參數化新方法MFlow提出，並配套ConvRef…
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載參數化選擇的再審視
像素空間擴散近期重新受到關注，原因在於它繞開了有損的潛空間瓶頸和單獨訓練的自編碼器。此前JiT的做法是把常用的速度預測換成乾淨圖像預測，從而讓普通擴散Transformer直接在像素空間生成。這篇論文對這一選擇提出疑問：兩種預測方式未必只能二選一。作者提出的MFlow讓模型在數據的主方向上學習兩種預測之間的插值比例，該比例不是人工設定，而是與擴散訓練一起端到端學出來。論文給出的觀察是，哪種參數化更合適並非固定結論，它會隨數據表示形式和模型容量發生系統性偏移，容量越大越偏向速度預測。這一發現意味着，像素擴散的設計空間比此前單點方案更寬。
多場景評測結果
作者把MFlow放到三類任務上檢驗：ImageNet圖像生成、UCF-101影片生成，以及大規模文生圖。論文的表述是在這些不同設定下取得相當或更好的生成表現，覆蓋靜態圖像、影片與文本條件生成三類場景。對讀者而言，值得關注的是這套自適應參數化沒有綁定在單一數據模態或單一規模上，而是在差異較大的任務中都能用。論文同時給出33頁、23張圖、15張表的篇幅，說明評測覆蓋面較廣，具體數值需查閱原文表格。
高頻缺失與ConvRefiner
論文另一個獨立發現是：像素擴散Transformer不管採用哪種參數化，生成的圖像相對真實圖像都存在持續的高頻成分不足。這不是參數化選擇能解決的問題，因此作者單獨設計了ConvRefiner——一個輕量卷積模組。它的訓練方式是在擴散主幹完全凍結的前提下，用對抗損失做後置訓練，只增加少量訓練量。效果上，ConvRefiner恢復了生成圖像的高頻統計特性，同時FID保持不變。這一做法的意義在於把「主幹生成質素」與「高頻細節補足」拆成兩步，避免為修補細節而重新訓練整個擴散模型。
為什麼值得看
想了解像素空間擴散能否替代潛空間方案、以及參數化選擇如何隨模型規模變化，這篇給出了可復現的設計取捨與補救模組。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。