注册

研究揭示预填充阶段解码长度预测的固有误差边界

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文指出，仅凭预填充阶段的隐藏状态预测大模型将解码多少 token，现有基准把预测器质量与任务难度混在一起：目标模型、数据集或采样配置一变，报告准确率就大幅下降，而预测器本身未变。作者把误差来源归于自回归解码的固有随机性，将解码视为停时随机过程，推导出所有预填充侧方法都必须遵守的界，并给出每提示正态性与仿射方差律。实验显示，在模型、数据、采样固定时，MLP、EGTP、FiLM、软标签与混合专家等多种预测器性能趋同且接近该界，说明系统误差主导模型误差。作者据此建议基准固定模型、数据与采样参数，并同时报告相对误差与绝对误差指标。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

基准失真的来源

论文关注的是推理调度中的一个基础环节：只用预填充阶段的隐藏状态，去估计大模型接下来会解码多少 token。作者指出，现有评测把预测器本身的好坏与任务本身的难度混在一起。当目标模型、数据集或采样配置发生更换时，即便预测器没有任何改动，报告出来的准确率也会明显下滑。作者把这种不稳定追溯到此前被忽略的误差来源，即自回归解码自身的随机性，并据此推导出所有预填充侧方法都无法绕开的上界。

把解码看作停时过程

分析把一次响应生成当作停时随机过程处理。每一步的停止概率并非常数，而是在数百步的跨度内逐步抬升，因此最终解码长度由大量局部决策共同决定，并继承了中心极限定理的性质。由此得到每提示层面的正态性以及显式误差项，同时给出仿射方差律，其斜率对应响应分段数的变异系数。实验层面，正态律对每提示 MAE 和解码长度分布中心区域的复现误差在几个百分点以内，而偏离正态的残余部分，即轻微右偏与略高的峰度，正好与采样噪声修正所预测的方向一致。

系统误差主导模型误差

在模型、数据和采样条件固定的前提下，作者比较了 MLP、EGTP、FiLM、软标签以及混合专家等多类预测器，发现它们收敛到相近的性能，并且都贴近前述误差界。这一结果支持作者的核心判断：系统误差压过模型误差，换更复杂的预测器结构带来的收益有限。基于此，论文主张采用一种新的评测协议，即固定模型、数据与采样参数，并在绝对误差指标之外同时报告相对误差指标，以便把方法能力与任务难度分开衡量。

为什么值得看

做推理调度与长度预测的团队可据此判断：换模型或采样配置后准确率下降未必是模型问题，而是方法本身存在误差上界。

大模型论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源On the Fundamental Limits of Prefill-Based Decoding Length Prediction

关键事实

  • 论文指出，目标模型、数据集或采样配置变化时，报告准确率会下降，而预测器本身未变[1]

  • 作者将解码建模为停时随机过程，推导出预填充侧方法必须遵守的误差界[1]

  • 每步停止概率随步数上升，解码长度呈现每提示正态性，并满足仿射方差律[1]

  • 模型、数据、采样固定时，MLP、EGTP、FiLM、软标签与混合专家等预测器性能趋同并接近该界[1]

  • 作者建议基准固定模型、数据与采样参数，并同时报告相对误差与绝对误差指标[1]

相关 · 论文

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

ID-WM 分层世界模型提出，长程任务性能提升 135%

10月31日 周六·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论