EnergyCal以轻量规则显著降低Muon系优化器在MoE训练中的损失尖峰。
资讯摘要
论文针对稀疏混合专家（MoE）语言模型训练中Muon系优化器出现的损失尖峰问题，提出EnergyCal：依据路由专家有限步Newton-Schulz方向的归一化平方Frobenius范数来衰减其更新，不改变谱变换且不增加持久优化器状态。作者在4B参数MoE模型上报告，与开发集选出的较低学习率MuonH配方相比，EnergyCal-MuonH将平均阈值化损失尖峰负担降低99.51%、最终几何平均困惑度降低4.06%，吞吐有适度代价；在匹配名义学习率与权重衰减的普通Muon下，两种测试指数下平均尖峰负担降低95.98%，端点指标小幅改善。
要点速读
- EnergyCal按路由专家Newton-Schulz方向的归一化平方Frobenius范数衰减更新，不改变谱变换、不增加持久优化器状态。
- 在4B参数MoE模型上，EnergyCal-MuonH相对较低学习率MuonH配方将平均阈值化损失尖峰负担降低99.51%，最终几何平均困惑度降低4.06%，吞吐有适度代价。
- 普通Muon在匹配名义学习率与权重衰减时，两种测试指数下平均尖峰负担降低95.98%，端点指标小幅改善。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。