稀疏MoE模型上推测解码为何优于预期

细粒度MoE模型在低批量下推测解码加速比高于此前预测。

资讯摘要

论文评估10个稀疏MoE模型（30B至1T参数、8至512个专家），发现近期细粒度模型在低批量下加速比更高，打破此前预测的凹形加速比-批量关系。作者指出验证成本不仅取决于激活专家字节数，还受草稿token间路由重叠与GPU执行动态影响；在H100上，MoE内核相对注意力内核带宽利用率更高，L2缓存吸收重复专家读取。论文用最大熵IPF框架从路由重叠统计预测唯一专家数，误差低于4%。

要点速读

1. 论文在10个稀疏MoE模型上测试推测解码，发现细粒度模型在低批量下加速比更高，与先前凹形预测不符。
2. 作者将验证成本归因于激活专家字节、草稿token间路由重叠和GPU执行动态，H100剖析显示MoE内核带宽利用率高于注意力内核。
3. 论文提出最大熵IPF框架，由路由重叠统计预测唯一专家数，误差低于4%，并缩小与真实模型曲线的差距。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。