dSpark 用调度蒸馏加速扩散语言模型解码
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 dSpark 框架，用于决定扩散语言模型在并行解码时优先确定哪些 token。该方法的思路是：优先揭示那些能让其他位置更早变得可预测的 token，而不是只挑容易预测的 token；随后把这些调度方案蒸馏进模型，并用 KL 散度正则项维持生成质量。在数学推理与代码生成任务上，该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别取得 10.12 倍和 5.12 倍的加速，同时任务表现保持不降。代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载并行解码的调度问题
扩散大语言模型能一次并行生成多个 token，但往往要经过很多轮解码才能完成一段回复。论文指出，生成效率不只取决于哪些 token 容易预测，还取决于确定这些 token 之后，对预测剩余位置有多大帮助。一个高度可预测的 token 未必能提供有用的上下文，而先揭示一个不太确定的 token，反而可能让其他多个位置更早变得可预测。dSpark 正是围绕这一观察设计调度策略。
调度蒸馏与质量约束
dSpark 的做法是先构造一套揭示顺序，也就是 unmasking schedule，让那些能降低其他位置预测难度的 token 优先被确定，从而在解码早期压低不确定性。随后把这套调度蒸馏进模型，使模型能更快地并行采样。为避免加速带来质量损失，训练中加入了 KL 散度正则项。论文在数学推理和代码生成两类任务上做了评测，报告在保持任务表现的同时获得显著加速。
实测加速幅度
在 GSM8K 上，该方法相对多种基线，在 LLaDA-8B-Instruct 上达到 10.12 倍加速，在 Dream-7B-Instruct 上达到 5.12 倍加速，同时任务表现保持不降。论文代码已公开，可供复现与后续研究使用。
为什么值得看
扩散语言模型的并行解码轮数一直是速度瓶颈，这篇论文给出了可复用的调度学习思路和具体加速倍数。
蒸馏代码生成论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。