LRMoE：内存受限节点上的MoE训练负载重校准

LRMoE通过反向负载重校准降低MoE训练时间与显存压力。

资讯摘要

论文提出LRMoE，一种内存感知的MoE训练系统，在资源约束下联合重校准反向传播需求并平衡保留负载。前向阶段规划保留配额与专家放置，反向阶段用负载重校准指标筛选token-专家对，再经容量感知路由与物理压缩减少通信与计算。作者报告在Qwen3-30B-A3B和GLM4.5-106B-A12B上，达到固定损失目标的累计MoE层训练时间较SYMI减少21.2%–44.8%。

要点速读

1. 论文提出LRMoE，在前向执行时于资源约束下规划保留配额与专家放置，并保留所有路由计算。
2. 反向传播阶段用负载重校准指标估计每个token-专家对对专家更新的贡献，并按配额筛选。
3. 作者报告在Qwen3-30B-A3B与GLM4.5-106B-A12B上，累计MoE层训练时间较SYMI减少21.2%–44.8%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。