研究证明混合LLM的循环部分可完全4位量化
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把线性层全部压到4比特
这项研究针对的是混合结构大模型：一部分层用 softmax 注意力，另一部分用 Gated DeltaNet 这类线性注意力，后者的循环状态以固定大小概括上下文。此前社区对 Qwen3.8-27B 做 4 比特量化时，往往把 GDN 块留在 8 比特或 16 比特，尤其是其中的衰减门与写入强度门，理由是循环结构里的误差会随长上下文累积。作者构建了 Minima 方案，对全部 496 个线性层统一采用 NVFP4 的 W4A4 设定，GDN 块不再单独保留高精度。评测覆盖 4K 与 32K 困惑度、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench，以及延伸到 64K 的 RULER 检索。结果显示 Minima 与 BF16 的差距落在随机种子波动范围内，五项任务平均为 -0.52；在作者比较的多种方案中，它的体积最小，为 17.5 GiB，预填充速度也最快，提升幅度为 +14-19%，并且 32K 困惑度的差距随位置推移而收窄。
门投影反而不是薄弱点
机制研究分成四个部分。其一，NVFP4 以 16 个元素为一块做缩放，把残差流中的极端离群值限制在局部，使不同层角色上的激活误差趋于均衡。其二，被外界视为脆弱的门投影实际上最不敏感：softplus/指数与 sigmoid 两种参数化会把约 11% 的 GEMM 误差压缩到约 2% 的输出误差。其三，delta 规则循环把注入的噪声压在一条平坦的平台上，在 32K token 范围内不上升，状态脉冲在数百步内即被遗忘，原因是每次写入都沿当前键方向覆盖旧状态。其四，逐 token 的量化开销随上下文增长被稀释，而不是逐层叠加。
校准尺度与部署配方
作者还处理了一个工程层面的错配：当按模块校准的 NVFP4 检查点被融合成单个 GEMM 的核函数执行时，会出现全局尺度不一致，他们对此做了修复。同时验证了经过校准的 FP8 KV-cache 缩放不会带来性能损失。由此形成的做法可以概括为两点：所有线性层都量化，并把 KV 缩放一并交付。论文共 14 页，含 2 张图与 6 张表，量化检查点已公开。对打算部署这类混合模型的读者而言，这意味着循环那一半不必再被当作量化的禁区，门控参数也无需单独保留高精度，只需注意按模块校准与融合核函数之间的尺度衔接。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。