GC-MoE 开源 FP8/FP4 MoE 推理算子，在 H20 与 B300…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
专家并行下，MoE 每一层都要做 all-to-all 的 token 分发、分组 GEMM 和 combine。解码阶段每个 rank 只持有 1 到 256 个 token，分发延迟与权重搬运成为主要开销，张量核心利用率天然偏低。在 DeepGEMM 的 Mega MoE 这类融合算子中，分发与计算只能靠共用全部 SM 来重叠：分发 warp 与 TMA/MMA、epilogue warp 争抢寄存器、共享内存和发射槽，各阶段共用同一份 CTA 资源预算，同步范围覆盖整个 SM 阵列，每次重放结束还要做工作区清理和跨 rank 屏障。
分区与调度做法
GC-MoE 用 CUDA Green Contexts 把设备切成一个小的通信分区和一个大的计算分区，分发与 GEMM 因此可以各自独立调优。启动侧使用三节点 CUDA Graph（Hopper 上融合共享专家时为四节点），把分发内核与分组 GEMM 内核作为并发根节点发射；token-ring 握手让计算在首批填满的 ring 块上就开始，双缓冲接收计数器则去掉了重放之间尾部的跨 rank 屏障。计算分区在 Blackwell 上运行操作数交换的 tcgen05 块缩放 MMA，在 Hopper 上运行寄存器 A 的 WGMMA 并在寄存器内完成 FP4 解码，同时融合 SwiGLU、重量化和可选的共享专家。
实测结果与资源占用
在 8 张 H20 上，GC-MoE 对 DeepSeek-V4.1-Flash 的解码在路由专家与共享专家两组测试中平均加速 1.188 倍，峰值分别为 1.296 倍和 1.353 倍。在 8 张 B300 上，它对 GLM-5.2 和 DeepSeek-V4.1-Flash 加速 1.106 倍，融合共享专家后为 1.123 倍，峰值 1.209 倍，并在全部 54 个测点上以相同精度超过 Mega MoE。资源占用方面，B300 上只留出 148 个 SM 中的 20 个用于分发，其余交给计算分区。论文共 25 页，含附录，归入分布式、并行与集群计算方向。
为什么值得看
它给出了专家并行解码中通信与计算重叠的新做法，并附有 H20、B300 上的实测加速比，对做 MoE 推理部署的团队有…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。