LangDiT：为连续扩散语言模型重新设计Transformer骨干
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么重做Transformer骨干
连续扩散语言模型（CDLM）提供了一条与自回归生成不同的并行文本生成路线。但论文指出，此前多数工作直接套用两类现成架构：来自因果大语言模型的Transformer，或来自图像生成的Diffusion Transformer（DiT）。这两类结构的设计目标都不是CDLM，因此并未针对扩散式语言生成做优化。作者由此展开对CDLM专用Transformer架构的系统研究，并把结论落在一个名为LangDiT的骨干网络上。这一出发点的意义在于：它把改进空间从采样器、训练目标等常见调参维度，转移到了网络结构本身。
LangDiT的几项结构改动
LangDiT由若干具体设计组合而成：特征归一化与查询-键归一化、更宽的噪声条件化、似然捷径梯度路由与校准，以及置信度门控的训练自条件化。论文没有把这些当作孤立技巧，而是作为一套面向连续扩散语言建模的整体架构方案。作者强调，这些改动是即插即用的：把LangDiT替换进已有CDLM流程时，模型原有的表示方式、训练目标和推理采样器都保持不变。正因如此，观察到的收益可以被归因于架构本身，而不是训练配方或采样策略的连带变化。
困惑度数字与对比条件
论文用生成困惑度（GenPPL）作为衡量指标，并以LangFlow作为代表性CDLM进行匹配对比。在OpenWebText数据集上做1024 token的无条件生成时，LangDiT在1024次NFE（函数评估次数）下取得21.72的GenPPL，在128次NFE下为44.72。当迁移到Plaid风格的CDLM形式时，1024次去噪NFE下GenPPL为11.33，128次去噪NFE下为27.51。两组结果都对应作者所称的连续语言生成新最优水平。NFE数值的差异也提示：去噪步数减少时困惑度明显上升，这一权衡在两组设定中都存在。
结论指向架构而非配方
论文的核心论断是，架构设计是连续扩散语言模型性能提升的一个重要来源。支撑这一论断的关键在于实验控制：表示、训练目标和推理采样器均未改动，唯一变化是Transformer骨干。作者据此认为LangDiT可作为即插即用组件接入不同CDLM形式，并在多种模型表述下刷新连续语言生成的困惑度记录。对关注并行文本生成的读者而言，这篇工作的可用信息是具体的结构清单与可对照的GenPPL数值，而非泛泛的性能提升说法。
为什么值得看
扩散语言模型的架构选择此前多沿用LLM或图像DiT，这篇给出专门设计与可复现的困惑度数字，对做并行文本生成的人有直接参…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。