vLLM 上线 Mistral Large 4 首日支持
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模型结构的关键选择
Mistral Large 4 是 Mistral 的混合专家原生多模态模型。它把 DeepSeek 风格的稀疏注意力组合进来：MLA 的 KV LoRA 秩为 512、RoPE 维度 64，再叠加 DSA 稀疏索引器，每个查询只挑选 top-2048 的 key。此外还有跨层 KV 共享、NoPE 层、SSMax 和 LeRoPE 几项新结构。整体是 72 层 MoE，128 个路由专家按 top-4 激活，配 1 个共享专家，隐藏维度 6144。规模上总参数 1 万亿，单 token 激活 490 亿，把嵌入与输出层算进去是 520 亿。
推理侧的能力与数字
vLLM 为它准备了内置的 DSpark 推测解码草稿器，由 3 层滑动窗口 MLA 构成、深度为 3，每步约接受 2.9 个 token，在 TP8 上带来约 2 倍的输出吞吐。长上下文方面，DCP 在 TP8 上把 KV 容量提高约 7.9 倍，PCP 与 DCP 组合做预填充可把首 token 时延最多缩短 1.6 倍，且 DSpark 在两种模式下都能工作。分离式服务走 NIXL 的预填充/解码拆分，支持 DP/EP、TP 以及 PCP×DCP 的预填充节点，两侧都可启用 DSpark。HiSparse 负责主机内存上的稀疏 KV 卸载，现在也支持跨层 KV 共享。
权重格式与部署方式
检查点有两种：FP8 采用块缩放权重，NVFP4 则是专家用 NVFP4、注意力与共享专家用 FP8，两者默认都使用 fp8_ds_mla 的 FP8 潜在 KV 缓存。多模态输入由 Pixtral 视觉编码器处理，单条提示可包含多张图片。支持代码放在新的 vllm/models/mistral/ 包中，运行在带可断 CUDA 图的模型运行器 V2 上。交付形式是 vllm/vllm-openai:mistral-large-4 镜像，内含 mistral-common 1.13，在镜像里执行 vllm serve 即可；FP8 用 8 卡，NVFP4 用 4 卡（Blackwell），8 卡时改用 --tensor-parallel-size 8。AMD Instinct MI350 系列在 ROCm 下同样首日可用，覆盖 DSpark、图像输入与 MXFP4 专家的专家并行。
为什么值得看
想跑这个万亿参数多模态 MoE 的人，可以直接看首日支持覆盖了哪些硬件、精度格式与并行配置。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。