LangDiT：為連續擴散語言模型重新設計Transformer骨幹
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載為什麼重做Transformer骨幹
連續擴散語言模型（CDLM）提供了一條與自迴歸生成不同的並行文本生成路線。但論文指出，此前多數工作直接套用兩類現成架構：來自因果大語言模型的Transformer，或來自圖像生成的Diffusion Transformer（DiT）。這兩類結構的設計目標都不是CDLM，因此並未針對擴散式語言生成做優化。作者由此展開對CDLM專用Transformer架構的系統研究，並把結論落在一個名為LangDiT的骨幹網絡上。這一齣發點的意義在於：它把改進空間從採樣器、訓練目標等常見調參維度，轉移到了網絡結構本身。
LangDiT的幾項結構改動
LangDiT由若干具體設計組合而成：特徵歸一化與查詢-鍵歸一化、更寬的噪聲條件化、似然捷徑梯度路由與校準，以及置信度門控的訓練自條件化。論文沒有把這些當作孤立技巧，而是作為一套面向連續擴散語言建模的整體架構方案。作者強調，這些改動是即插即用的：把LangDiT替換進已有CDLM流程時，模型原有的表示方式、訓練目標和推理採樣器都保持不變。正因如此，觀察到的收益可以被歸因於架構本身，而不是訓練配方或採樣策略的連帶變化。
困惑度數字與對比條件
論文用生成困惑度（GenPPL）作為衡量指標，並以LangFlow作為代表性CDLM進行匹配對比。在OpenWebText數據集上做1024 token的無條件生成時，LangDiT在1024次NFE（函數評估次數）下取得21.72的GenPPL，在128次NFE下為44.72。當遷移到Plaid風格的CDLM形式時，1024次去噪NFE下GenPPL為11.33，128次去噪NFE下為27.51。兩組結果都對應作者所稱的連續語言生成新最優水平。NFE數值的差異也提示：去噪步數減少時困惑度明顯上升，這一權衡在兩組設定中都存在。
結論指向架構而非配方
論文的核心論斷是，架構設計是連續擴散語言模型性能提升的一個重要來源。支撐這一論斷的關鍵在於實驗控制：表示、訓練目標和推理採樣器均未改動，唯一變化是Transformer骨幹。作者據此認為LangDiT可作為即插即用組件接入不同CDLM形式，並在多種模型表述下刷新連續語言生成的困惑度記錄。對關注並行文本生成的讀者而言，這篇工作的可用資訊是具體的結構清單與可對照的GenPPL數值，而非泛泛的性能提升說法。
為什麼值得看
擴散語言模型的架構選擇此前多沿用LLM或圖像DiT，這篇給出專門設計與可復現的困惑度數字，對做並行文本生成的人有直接參…
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。