论文提出 AMTP：按上下文动态选择多 token 预测的推测长度
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载固定推测长度的两难
多 token 预测通过一次起草多个 token、再由目标模型单次前向统一验证来加快解码。问题在于最合适的推测长度随上下文变化：草稿可靠时，更长的草稿能摊薄验证开销；一旦某个位置被拒绝，后续后缀全部作废，这部分算力就白费。自回归起草可以逐 token 判断何时停止，而 MTP 的多个头在同一次前向中同时输出，长度必须在起草之前定死，于是「该猜多远」变成一个需要提前决策的问题。
把长度选择当作在线控制
作者将推测长度的选取形式化为在线控制问题：利用每轮验证返回的反馈，学习当前上下文里草稿可以被信任到多远。为此引入接受存活率这一量，即一个草稿前缀被完整接受的概率，并用它刻画在某个长度上期望能提交多少 token。每轮开始前，AMTP 预测草稿大致能存活到哪一步，再挑选每秒期望 token 数最高的长度，并从每次验证过程中持续学习。该控制器不需要重新训练模型，也不改动精确验证器本身。
理论保证与实测结果
理论部分把在线学习器的预测误差与吞吐遗憾联系起来：预测越不准，相对每个上下文最优长度的吞吐损失越大，并进一步转化为墙钟完成时间的上界；采用在线梯度下降时，该遗憾为次线性。实验在五个草稿-目标组合上展开，涵盖 Llama-3.1-8B-Instruct 搭配 Medusa 头、Meta 的 MTP 模型以及 Qwen3-4B-Inst-2507-MTP，评测集为 AIME 2025 与 GSM8K。结果显示解码最高比标准解码快 4.1 倍，10 个设置中有 8 个与固定窗口持平或更优，吞吐增益最高达 10%。
为什么值得看
推测解码的固定草稿长度是实际部署中的调参痛点，该工作给出免重训的在线自适应方案，并附吞吐收益数据。
信源1 家
关键事实
MTP 的所有头在同一次前向中触发，因此推测长度必须在起草前确定，不能逐 token 停止[1]
AMTP 被描述为轻量控制器，无需重新训练，且保持原有精确验证器不变[1]
方法通过接受存活率预测草稿前缀被完整接受的概率，并据此选择每秒期望 token 数最高的长度[1]
实验覆盖五个草稿-目标组合，涉及 Llama-3.1-8B-Instruct 配 Medusa 头、Meta 的 MTP 模型与 Qwen3-4B-Inst-2507-MTP[1]
在 AIME 2025 与 GSM8K 上，AMTP 解码最高比标准解码快 4.1 倍，10 个设置中 8 个达到或超过固定窗口，吞吐提升最高 10%[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。