研究揭示LLM贪心解码跨精度输出分歧，提出低开销缓解法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载贪心解码并非精度不变
一篇被 Transactions on Machine Learning Research 接收的论文指出，大语言模型的贪心解码常被当作确定性过程，但实验显示它并不具备精度不变性。在相同硬件上，同一模型、同一提示词、同一解码算法，分别以 BF16 与 FP16 运行，输出会出现差异。作者在四个模型家族、参数量从 1.1B 到 7B 的六个模型上做了评测，并在 12B 规模上对差异做了进一步刻画，评测覆盖三个基准。结果显示，出现分歧的提示词比例区间跨度很大，且单个 token 的翻转往往会级联成整条轨迹层面的分歧。这一结论直接动摇了把贪心解码输出当作可复现基准的常见做法。
误差如何被放大
论文建立了经验性的误差传播分析。作者发现，用 22 层累积的 body 误差，无法区分发生翻转与未发生翻转的步骤；真正起决定作用的是 LM head 处最高两个 logit 之间的差距，相对于这两个候选之间方向性扰动的大小。基于这一判断，分析给出五条关于干预结果的可检验预测，其中一条是：投入更多 FP32 计算、扩大作用范围，反而会让一致性变差。实验对这五条预测全部吻合。这意味着分歧的触发点集中在输出头附近的临界比较上，而不是简单地由整体数值误差累积决定。
选择性重算的收益
在作者评估的低开销干预手段中，表现最好的是对 LM head 做选择性 FP32 重算：只有当上述 margin 低于某个阈值时才触发重算。在低批量、单流推理场景下，该方法在 A10G 上带来精确一致率的百分点提升，在 L4 与 A100 上的提升幅度较小，而延迟开销低于百分之四。作者还在六个模型与四种批量规模上划出了适用边界，并提出训练阶段的精度稳定性可能是决定性因素。需要强调的是，这是一种部分缓解，而非通用的确定性保证：当误差主要来自 body 时，它的收益会消失，在批量规模较大以及端到端 FP8 的测试条件下均属此类。
对使用者的含义
对依赖贪心解码做评测或线上服务的团队来说，这项工作的直接提示是：换一种浮点精度，就可能换一份输出，且差异会沿生成轨迹放大。选择性重算 LM head 提供了一条低延迟的折中路径，但它只在 margin 偏小、且误差尚未由 body 主导时有效，批量变大或采用更低精度端到端推理时不再可靠。作者把适用边界按模型与批量规模逐一标出，读者可据此判断自身配置是否落在受益区间内，而不必把它当作普适的确定性方案。
为什么值得看
揭示低精度推理下贪心解码非确定性的根因，并提供低延迟的实用缓解方案，对部署一致性要求高的LLM应用极具参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。