研究证明混合LLM的循环部分可完全4位量化

信源1 家

1. [1]arXiv cs.AI一手信源Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM

关键事实

• Minima模型在4K/32K困惑度、MMLU-Pro等多项测试中与BF16精度相差在种子噪声范围内(5任务平均-0.52)[1]

• Minima模型体积为17.5 GiB，是测试中最小的模型，预填充速度提升14-19%[1]

• 研究揭示了循环部分能够成功量化的四部分机制，包括块缩放局部化异常值、门控投影参数化对误差的压缩等[1]

• 研究修复了当每模块校准的NVFP4检查点由融合模块为一个GEMM的内核提供服务时出现的全局规模不匹配问题[1]

相关 · 论文