DualQuant：免校准双尺度权重与激活量化框架发布
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇提交于 arXiv 的论文提出 DualQuant，一种双尺度、免校准的训练后量化框架，同时处理权重与激活。其思路是直接最小化权重重构的均方误差，并由此顺带得到逐通道的激活缩放系数，从而在不需要校准数据的情况下完成激活量化。该方法被建模为非可微的权重重构问题，用变量分裂与块坐标下降求解，每个子问题有闭式更新。它统一支持 MX 全家族与 NVFP4 等格式，作者称是首个正式支持 MX 与 NV 块格式的双尺度方法。在 Llama 与 Qwen 上、于 WikiText-2、C4 及零样本下游任务评测中，多数模型与格式下精度追平或超过基于校准的 SmoothQuant，并明显优于免校准基线。作者还在 RTX 4090 上为 Llama-3.1-8B 验证了真实打包的 W4A4 推理路径，精度接近伪量化，内存最多降 2.61 倍，吞吐最多提升 2.46 倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
在原生支持 4 位的加速器上做低比特推理，只有把权重和激活都量化，才能拿到这类格式带来的完整吞吐收益。训练后权重量化已被大量研究，但激活量化难度明显更高，通常依赖校准数据。DualQuant 针对的正是这一缺口：在不使用校准数据的前提下，同时完成权重与激活的量化，并让结果在精度上可与依赖校准的方案相比。
方法怎么做的
该框架的核心观察是，最小化权重重构误差所得到的缩放因子，本身就能作为有效的激活缩放使用，因此无需额外校准即可获得有竞争力的激活量化效果。作者把问题表述为非可微的权重重构问题，并给出基于变量分裂与块坐标下降的高效求解器，其中每个子问题都存在闭式更新。方法被设计为统一算法，覆盖包括 MX 全家族与 NVFP4 在内的多种格式；作者称这是首个正式支持 MX 与 NV 块格式的双尺度方法。
评测与硬件验证
在 Llama 与 Qwen 模型上，使用 WikiText-2、C4 以及零样本下游任务进行评测，DualQuant 在多数模型与格式下精度追平或超过基于校准的 SmoothQuant，并显著优于免校准基线，在 MX 与 NV 块格式上提升尤其明显。作者还用 RTX 4090 上 Llama-3.1-8B 的真实打包 W4A4 推理路径验证了这些收益：实现精度与伪量化接近，同时相对 BF16 最多带来 2.61 倍内存下降和 2.46 倍吞吐提升。
为什么值得看
免校准即可做 W4A4 激活量化，并给出真实硬件上的内存与吞吐收益，对部署低比特推理的团队有直接参考价值。
LlamaQwen量化论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。