蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载解决什么问题
模型与推理负载增长后，显存容量、显存带宽和算力成本越来越限制部署。MoE 模型尤其明显：每个 token 只激活部分专家，但全部权重仍需存储，材料以 DeepSeek-V3 为例，其参数总量 6710 亿，单 token 激活 370 亿。量化通过降低权重与激活精度来减少显存占用和数据搬运，也能提升计算效率，但这些收益要靠高效内核才能转化为更低延迟和更高吞吐。
量化配置的复杂度
不同模型和 GPU 代际对量化的要求不同，常见配置包括 WNA16、W8A8、W4A8、W4A4，其中 W 和 A 分别指权重与激活位宽，N 表示可变的权重位宽。即便精度相同，INT4 与 NVFP4 在数值格式和缩放方式上也有差异；缩放粒度、scale 表示、group size、对称或非对称量化进一步扩大了配置空间。预填充、解码以及 MoE 专家负载不均对计算和内存的需求各不相同，内核需在适配这些负载的同时压低转换、反量化和调度开销。
统一架构的做法
为每种组合单独开发和集成专用内核会带来持续增长的维护负担：每新增一种组合，可能都需要独立的权重预处理、内核选择、框架适配和测试，优化还要在多个实现之间同步。Humming 的思路是把量化描述与执行分离，用一套统一架构承载稠密与 MoE 负载下多种权重、激活格式组合，覆盖多种整数与浮点类型、位宽和缩放方案，从而减少重复实现。
设备覆盖与性能
设备方面，Humming 支持图灵及之后的 NVIDIA GPU 架构，也支持平头哥真武 810E 等 CUDA 兼容设备。性能方面，材料称其在多个代表性负载上明显超过 vLLM Marlin、FlashInfer 和 DeepGEMM 的现有实现。代码已在 github.com/vllm-project/humming 开放。
为什么值得看
量化内核直接影响 MoE 大模型的显存占用与推理吞吐，这次开源给出了跨 GPU 代际、跨量化格式的统一实现，并声称性能…
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。