SetCommit：免训练协调并行 token 提交，加速扩散语言模型解码
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 SetCommit，一种免训练方法，用于扩散语言模型少步解码中的协调并行 token 提交。该方法不再按置信度独立挑选 token，而是选出一个提交集合，在单个 token 的可靠性与局部联合提交风险之间取得平衡，从而为后续去噪步骤保留条件化机会；同时进行预算中性的局部替换，当新上下文支持更可靠的选项时，替换掉此前较脆弱的提交。方法无需重训练或修改架构，兼容现有扩散解码策略。在 LLaDA-8B 与 Dream-7B 上，于 GSM8K、MATH-500、MBPP、HumanEval 测试，32 次模型评估下准确率/pass@1 最高提升 7.4 个百分点；在常见质量目标下，几何平均增量加速为 1.44 至 1.74 倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载少步解码的提交难题
扩散语言模型能够并行生成多个 token 位置，但在少步解码场景下，并行提交变得困难。材料指出，单独看似乎可靠的 token，放在一起可能彼此不一致；而过早提交又会阻断后续依赖上下文的修正机会。SetCommit 针对的正是这一矛盾：如何在并行提交时既保证速度，又不牺牲后续去噪步骤的调整空间。
协调提交与局部替换
SetCommit 的做法是不再按置信度逐个独立挑选 token，而是选出一个提交集合，使单个 token 的可靠性与局部联合提交风险之间取得平衡，从而为后续去噪保留条件化机会。此外，方法执行预算中性的局部替换：当新揭示的上下文支持更可靠的替代项时，替换掉此前较脆弱的提交。整个过程不需要重训练，也不需要修改模型架构，并且可以与现有扩散解码策略配合使用。
实验设置与结果
实验在 LLaDA-8B 和 Dream-7B 两个模型上进行，评测集包括 GSM8K、MATH-500、MBPP 和 HumanEval。在 32 次模型评估的条件下，准确率/pass@1 相比原生解码最高提升 7.4 个百分点。在常见质量目标下，几何平均增量加速落在 1.44 至 1.74 倍之间。论文代码已公开。
为什么值得看
免训练、不改架构即可提升扩散语言模型少步解码的质量与速度，对推理效率优化有直接参考价值。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。