GC-MoE：用 CUDA Green Contexts 重叠专家并行调度与 FP8/FP4 分组 GEMM

GC-MoE 用 Green Contexts 分区重叠 MoE 调度与计算，作者报告最高约 1.3 倍解码加速。

资讯摘要

论文提出开源 MoE 推理算子 GC-MoE，面向 NVIDIA Hopper 与 Blackwell GPU，用 CUDA Green Contexts 将设备划分为小型通信分区与大型计算分区，使 all-to-all 调度与分组 GEMM 各自拥有独立内核、资源预算和同步域。作者报告在 8 张 H20 上 DeepSeek-V4.1-Flash 解码平均加速 1.188 倍，在 8 张 B300 上 GLM-5.2 与 DeepSeek-V4.1-Flash 加速 1.106 倍。

要点速读

1. GC-MoE 用 CUDA Green Contexts 把设备拆成通信分区和计算分区，调度与 GEMM 可独立调优。
2. 采用三节点 CUDA Graph（Hopper 上为四节点）并发启动调度与分组 GEMM 内核，并用 token-ring 握手提前开始计算。
3. 作者报告 8 张 H20 上 DeepSeek-V4.1-Flash 解码平均加速 1.188 倍；8 张 B300 上 GLM-5.2 与 DeepSeek-V4.1-Flash 加速 1.106 倍，B300 仅用 148 个 SM 中的 20 个做调度。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。