论文提出 BCSM 离散扩散蒸馏目标，单步推理 NFE 最高降 6 倍
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从词级KL到位置内目标
该论文关注的是带并行解码能力的离散扩散模型在蒸馏环节的目标函数选择。常见做法是采用逐 token 的 KL 目标，它能够与对应的乘积形式块分布精确对齐，但在概率空间中进行优化时，其几何性质以及仅由教师模型截断候选的方式，在步数被压得很紧的少步蒸馏场景下可能给出的监督不够充分。作者提出以位置内的相对 logit 几何对齐作为替代思路，并指出完整的成对形式 Concrete Score Matching 会带来与词表规模平方相关的复杂度，因而难以直接使用。
双向活跃集压缩比较量
论文给出的方案名为 Bidirectional Centered Score Matching，简称 BCSM，是一种位置内的蒸馏目标。它的做法是先构造规模为 K 的双向活跃集，把原本覆盖整个词表的成对比较收缩到这一子集上，使比较量降到 K 的平方级别，再进一步把这些比较因式分解，最终得到一个规模为 K 的目标。这样既保留了位置内相对 logit 关系的监督信号，又避开了完整成对形式的开销。作者还引入了跨时间步的转移对齐，用于在蒸馏过程中衔接不同时间步之间的状态变化。
单步推理下的质量效率
实验部分报告的是质量与效率之间的权衡结果。在单步推理条件下，该方法实现了最高 6 倍的 NFE 缩减，并在 HumanEval 与 MMMU 两项评测上取得相对提升。论文提交时间为 2026 年 11 月 3 日，编号 arXiv:2611.04279，属于 cs.AI 分类，作者为 Peng Tu、Baoyou Chen、Haoyuan Xia、Zilong Dong、Weihao Yuan、Siyu Zhu 共六人，全文与实验版 HTML 均已公开，DOI 由 DataCite 发放且处于待注册状态。
适用边界与阅读提示
从材料看，BCSM 的定位是少步蒸馏场景下的位置内目标，其收益建立在活跃集规模 K 远小于词表规模的前提上，复杂度表述也以 K 为基准；材料未给出 K 的取值方式、活跃集的具体构造规则，也未说明跨时间步转移对齐的实现细节。对关注离散扩散加速的读者而言，这篇论文提供的是一条绕开词表平方开销、同时保留相对 logit 监督的路径，具体效果需结合原文的实验设置判断。
为什么值得看
少步蒸馏是扩散模型落地的关键瓶颈，该工作给出复杂度可控的新目标，并附代码生成与多模态基准的量化收益。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。