D3D 解耦扩散草稿模型，实现异步投机解码

11月4日周三 20:27论文AI 评分 72/100arXiv cs.AI待复核

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

论文提出 D3D，一种独立的扩散草稿模型，去掉了草稿模型对目标模型隐藏状态的轮次依赖。它把分块去噪与辅助自回归监督结合，在没有目标隐藏状态的情况下也能获得较长的可接受前缀，从而能在验证阶段用一次打包前向完成后续块的草稿，实现异步投机解码。作者按各层对接受长度的影响逐步剪枝，在 36 层中移除 5 层后，以 Qwen3-8B 为目标时三个基准的平均接受长度仍保留 99% 以上。七个基准上，Qwen3-8B 与 Qwen3-32B 目标分别平均加速 5.00 倍和 5.71 倍，DFlash 为 4.03 倍和 3.67 倍；GSM8K 配 Qwen3-32B 达 7.48 倍。代码已公开。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

草稿与验证的串行瓶颈

以目标模型条件为输入的扩散草稿器能够并行预测候选词元，但每生成一个新的块都要等待目标模型更新后的隐藏状态。这样一来，起草与验证只能依次进行，即便每个块只需一次前向就能产出，整体加速幅度仍然受到限制。D3D 的出发点正是切断这种轮次之间的依赖：它把草稿器做成独立模块，不再依赖目标模型的隐藏状态，从而让起草阶段与验证阶段可以重叠。

块式去噪加自回归监督

D3D 在方法上把块式去噪与辅助的自回归监督结合起来，目标是在没有目标隐藏状态的条件下也能得到较长的被接受前缀。由于草稿器不再等待上一轮验证结果，它可以在验证进行的同时，用一次打包前向为后续块起草候选，形成异步的推测解码流程。为压低打包起草的开销，作者按照各层对接受长度的影响逐层裁剪，在 36 层中移除 5 层后，以 Qwen3-8B 为目标模型时，三个基准上的平均接受长度仍保持在原有水平之上。

与 DFlash 的加速对比

在七个基准上，D3D 以 Qwen3-8B 与 Qwen3-32B 为目标模型时，平均解码加速分别为 5.00 倍和 5.71 倍；作为对照，DFlash 在同样两个目标模型上的数字是 4.03 倍和 3.67 倍。在 Qwen3-32B 配合 GSM8K 的场景中，D3D 的加速达到 7.48 倍。这些结果说明，去掉轮次依赖之后，草稿器在验证期间并行产出后继块的做法能够转化为实际的端到端吞吐收益，而不只是单块生成速度的提升。

适用范围与获取方式

D3D 的定位是一个独立的扩散草稿器，其收益依赖目标模型与草稿器的搭配，材料给出的评测覆盖 Qwen3-8B 和 Qwen3-32B 两种目标模型规模以及七个基准。层裁剪的比例是在 36 层中移除 5 层，这一取舍以平均接受长度为衡量标准，说明压缩草稿器规模与保持接受长度之间存在可调节的空间。对关注推理加速的读者而言，这意味着草稿器可以脱离目标模型隐藏状态单独设计，异步调度成为可选项。论文代码已公开，摘要页面提供了 PDF 与 HTML 两种阅读入口。

为什么值得看

投机解码的草稿与验证长期串行，D3D 用独立扩散草稿模型把两步重叠，给出可复现的加速倍数与剪枝比例。

Qwen论文

信源1 家

[1]arXiv cs.AI一手信源D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

关键事实

D3D 是独立扩散草稿模型，去掉了每轮对目标模型隐藏状态的依赖[1]
方法结合分块去噪与辅助自回归监督，以在无目标隐藏状态时获得长接受前缀[1]
按对接受长度的影响剪枝，36 层中移除 5 层，Qwen3-8B 目标下三个基准平均接受长度保留 99% 以上[1]
七个基准上 Qwen3-8B 与 Qwen3-32B 目标平均加速 5.00 倍与 5.71 倍，DFlash 为 4.03 倍与 3.67 倍[1]
GSM8K 配 Qwen3-32B 目标时加速达 7.48 倍，代码已公开[1]

D3D 解耦扩散草稿模型，实现异步投机解码

全文梳理

草稿与验证的串行瓶颈

块式去噪加自回归监督

与 DFlash 的加速对比

适用范围与获取方式

为什么值得看

信源1 家

关键事实

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%