NgramRL 用 rollout 历史 n-gram 草稿加速 RL 后训练
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载rollout 是成本大头
论文把 RL 后训练的瓶颈定位在自回归 rollout 生成上，这部分开销可超过训练总时长的 70%。已有的投机解码方案在这个场景里并不合拍：基于模型的草稿器要占用本就紧张的 GPU 显存，而且随着策略在训练中不断变化，草稿器可能与当前策略脱节；无模型的方法则没有显式利用训练轮次之间的重复内容。作者由此提出一个观察：同一 prompt 近期的 rollout 本身就是质量不错、且会随训练自我更新的草稿来源。
按 prompt 构建 n-gram …
NgramRL 为每个 prompt 从有限的近期 rollout 历史中构建 n-gram 草稿器，不引入辅助模型，不需要单独训练草稿器，也不保留常驻显存的草稿器状态。草稿最终由目标模型验证，因此提交的 token 分布仍与目标模型一致，不会因草稿来源而偏移。这一设计把草稿成本转移到 CPU 侧的缓存查找上，代价是需要处理查找与调度的开销。
预取隐藏查找开销
为掩盖 CPU 缓存查找与调度带来的延迟，作者加入自适应 fan-out 预取器，提前预测验证结果 (j, b)：j 是被接受的草稿长度，b 是目标模型随后生成的续写 token。因果预算分配器把预取额度集中投向高概率结果，未被覆盖的结果回退到顺序查找，且不会改变已提交的 token。在 Spider 任务上，候选预算为 16 时该预取器覆盖了 Qwen3-8B 的 96.6% 结果。
实测吞吐与对比
在两个模型家族、三类推理与结构化生成负载上，NgramRL 在热缓存条件下每次目标模型前向可提交 3.60–7.77 个 token，比 SuffixDecoding 最多高 1.99 倍，比 prompt-lookup decoding 高 7.0 倍。叠加预取后，Spider 上实测 rollout 吞吐比同步版本提升 1.38 倍，已接近 1.40 倍的重叠上限，说明剩余空间主要受限于重叠程度而非草稿质量。
为什么值得看
RL 后训练成本主要花在 rollout 生成上，这项工作用训练中已有的历史草稿换取吞吐，且不占显存。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。