Sonar-MoE：反向传播中更新专家以降低MoE训练显存

Sonar-MoE 在反向传播中更新专家，峰值显存降约两成。

资讯摘要

论文提出 Sonar-MoE，在反向传播过程中直接更新每个专家张量并立即释放其梯度，使 GPU 最多只保留一层专家梯度。作者报告在 bf16 下微调 OLMoE-1B-7B 与 Granite-3.1-3B-A800M 时，峰值显存降低 19% 至 22%，更新结果与未做专家梯度裁剪的标准训练逐位一致，留出集损失与各基线相差不超过 0.003。

要点速读

1. 方法把 optimizer-in-backward 从稠密模型扩展到批量化的 MoE 专家张量，按整批张量更新而非逐个专家更新，以避免 20% 至 72% 的减速。
2. 作者报告峰值显存降低 19% 至 22%，每步耗时比带全局范数裁剪的标准训练少 17% 至 23%。
3. 更新与不做专家梯度裁剪的标准训练逐位相同，留出集损失与所有基线相差在 0.003 以内，同时仍可对稠密参数做裁剪。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。