vLLM 为无置信头草稿模型推出在线拟合接受估计器
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载此前 AV 的适用范围
Adaptive Verification 的做法是在投机解码过程中只验证一部分草稿 token：把接受概率低的草稿 token 从批次中裁掉，再跑目标模型的前向计算，从而省下算力。这种优化在大 batch 服务场景下尤其有用，因为此时 GPU 处于计算受限状态。但 AV 需要逐 token 的接受概率估计，所以此前只支持 DSpark 草稿模型。DSpark 模型通常自带置信头，即在草稿模型每个位置的隐藏状态上接一个小型线性层，以二分类方式训练来判断目标模型是否会接受该 token。
缺失置信头的代价
EAGLE、MTP、DFlash 以及部分 DSpark 检查点没有置信头，因此完全用不上 AV。要让它们用上，就需要逐 token 的接受估计，而补一个置信头意味着重新训练草稿模型，这对大量已经在线上服务的既有检查点并不可行。用草稿模型自身的置信度作为接受概率的代理已有先例：EAGLE-2 显示 EAGLE 的草稿概率与接受率高度吻合，并据此扩展和重排动态草稿树；Draft & Verify 及若干后续工作则在草稿概率低于固定阈值时停止起草；SpecDec++ 则训练了专门的接受预测头，思路与 DSpark 的置信头相近。这些做法要么直接使用草稿置信度到接受率的映射，要么离线学习该映射。
在线拟合估计器的做法
AV 需要的不只是好的排序。它的预算决策会把预测的接受概率求和，再与实测成本做权衡，因此预测必须针对所服务的具体模型对和工作负载进行校准。新加入的在线拟合估计器在缺少置信头时，从草稿模型的 logits 中导出特征，用来预测目标模型接受该 token 的概率，并直接作为 Adaptive Verification 的置信分数使用。估计器的系数会持续拟合，随线上数据流量自适应调整。该功能落地于 PR #52228，对没有置信头的草稿模型通过 enable_adaptive_verification 启用。
为什么值得看
已有草稿模型无需重训即可用上投机解码的验证裁剪，大 batch 推理可省算力。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。