Softmax重参数化降低小模型输出头量化损耗与推理延迟
论文AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对小语言模型因词表大导致输出头推理成本高的问题，提出softmax重参数化后训练量化法。该方法从输出行减去词表行均值的标量倍数，通过验证KL散度一维搜索系数，保留全精度分布且不改解码器。在Phi-4-mini上，W4量化下AW-MSE的KL从0.936降至0.256；冻结系数可跨数据集迁移。对移位兼容头，该方法无额外推理开销，使Phi输出头量化后相比BF16基线降低10.8%的单批次生成延迟。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载重参数化量化机制
小语言模型的大词表导致输出头推理开销显著。该研究提出一种后训练重参数化方法，在量化前从每个输出行减去词表行均值的标量倍数，并通过验证KL散度在一维空间搜索最优系数。此搜索涵盖RTN、激活加权MSE及全Hessian GPTQ三种量化器。该方法保留了全精度的softmax分布，不改变已训练的解码器，并通过秩一校正处理如soft-capping等非线性logit路径。
量化保真度与跨域迁移
在W4量化下，该方法在基线量化严重扭曲预测的头部集中体现增益。例如在Phi-4-mini上，AW-MSE的KL散度从0.936降至0.256。该增益在更强的GPTQ校准下依然存在，并与精确逐通道缩放及仿射量化互补。在四个头部和三个W4量化器的测试中，基于WikiText冻结的系数在C4和OpenWebMath上成功迁移：在系数非1的18项对比中均优于均值居中，在其余6项中表现持平。W2压缩压力测试显示其优势扩展至几乎全部模型-量化器组合。
推理延迟与计算开销
匹配残差分析表明，保真度提升可伴随更大的logit重建误差，同时降低残差的Fisher加权成本。对于移位兼容的头部，该重参数化不增加任何推理操作，并保留打包的W4执行过程。在解码器保持BF16精度的情况下，对Phi输出头进行量化，相比BF16头基线，单批次生成延迟相对降低了10.8%。
为什么值得看
为小模型大词表输出头提供无损量化新思路，显著降低量化失真与推理延迟，且无额外推理计算负担。
量化数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。