vLLM 解析 Kimi K3 在 AMD MI355X 上的推理优化，单 G…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载八卡系统跑出更高吞吐
在 AgentX 这一公开基准上，一套由八块 AMD Instinct MI355X 组成的系统，配合 vLLM 来服务 Kimi K3，交出了一份可对比的成绩单。衡量口径是每块 GPU 每秒能产出的总 token 数，同时把交互性锁定在 50 tokens/s/user 的 P90 水平。在这个条件下，MI355X 单卡约为 7567 个 token/s，而对照的 NVIDIA HGX B300 为 6083 个，前者高出 24.4%。文章还给出了另一组换算：按 SemiAnalysis 建模的每小时单卡成本 1.50 美元与 2.26 美元计算，两者每美元 TCO 对应的总 token 数分别是 1816 万与 969 万，差距扩大到 87.4%。需要留意的是，公开曲线比较的是完整服务栈，而文中逐项优化旁边的数字来自各自独立的测试，用于说明单项机制在给定配置下的作用。
AgentX 回放真实会话
AgentX 这个工作负载的做法是回放真实的编码智能体会话轨迹，但把 token 换成合成的，同时保留原始请求的长度、时间分布以及前缀共享的模式。这种设计让基准更贴近实际使用中的长上下文与重复前缀场景。材料提到，在缓存不受限制的情况下，该负载的理论前缀复用率超过 96%，也就是说绝大部分前缀本可以被重复利用。投机解码相关的运行则采用一个固定的合成接受率作为参照。正因为前缀复用空间大，缓存能否把会话状态留住、能否跨请求复用，就成了影响最终吞吐的关键变量之一，这也解释了后续多项优化为什么围绕缓存、MoE 与内存搬运展开。
六项优化各管一段
文章把 Kimi K3 的优化拆成六个方向。缓存方面，目标是让对话状态保留下来以便复用；MoE 方面，重点是消除跨 GPU 的重复计算；内存流量方面，通过算子融合和去掉不必要的拷贝来减少搬运；MLA 方面，借助 AMD AITER 汇编实现更快的长上下文解码；KDA 方面，把预填充与投机验证并行起来；投机解码方面，则要决定一次草拟多少个 token。这些方向分别对应不同的瓶颈来源，也对应不同的硬件与内核行为。文章强调，理解这些优化为何奏效，有助于在自己的推理栈里识别被浪费的工作、定位瓶颈并找到下一个可优化的点。
硬件规格与适用边界
从硬件参数看，AMD Instinct MI355X 公布的稠密矩阵峰值是 10.1 PFLOP/s MXFP4，NVIDIA B300 则是 13.5 PFLOP/s FP4；两者都配备 288 GB HBM3E 以及 8 TB/s 的峰值内存带宽。这意味着在纸面算力上 MI355X 并不占优，但上述服务性能是在软件工程持续投入下取得的，涉及 AMD 与 vLLM 社区多方的协作。对读者而言，这组结果说明吞吐差距并非只由峰值算力决定，缓存策略、跨卡去重、内存搬运和投机解码的取舍同样会显著影响每卡产出与每美元产出；同时也要注意，这些数字绑定在 AgentX 这一特定负载与 50 tokens/s/user P90 的交互性约束下，换到别的负载或别的延迟目标，结论未必照搬。
为什么值得看
给出 AMD 与 NVIDIA 在真实 agent 负载下的吞吐与每美元 token 对比，并拆解可复用的推理优化思路。
信源1 家
关键事实
在 AgentX 基准、50 tokens/s/user P90 交互性下，八卡 AMD Instinct MI355X 单 GPU 总吞吐约 7,567 tokens/s，NVIDIA HGX B300 为 6,083，高出 24.4%。[1]
按 SemiAnalysis 建模的 TCO，MI355X 每 GPU 小时 1.50 美元、B300 为 2.26 美元，折算每美元 TCO 总 token 数为 1,816 万对 969 万，高出 87.4%。[1]
AMD Instinct MI355X 与 NVIDIA B300 均配备 288 GB HBM3E 和 8 TB/s 峰值内存带宽，公布的稠密矩阵峰值分别为 10.1 PFLOP/s MXFP4 与 13.5 PFLOP/s FP4。[1]
AgentX 基准回放真实编码 agent 会话轨迹，保留请求长度、时序与前缀共享模式，在无限缓存下理论前缀复用率超过 96%。[1]
优化覆盖缓存复用、MoE 跨 GPU 去重、内存流量融合、MLA 长上下文解码、KDA 预填充与投机验证并行、投机解码草稿数选择等环节。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。