MuonGS：用松弛权重范数控制预训练大模型

MuonGS 放松权重范数约束，长训练下困惑度优于 MuonH。

资讯摘要

论文分析 Muon 优化器中的权重范数控制，用累积有效学习率 C_T 刻画训练全程的范数累积，指出原始 Muon 仅能对数累积，可能限制探索。作者提出 MuonGS，用 Gram-Schmidt 投影去除每次更新的径向分量而不固定权重范数，证明权重范数至多按 √t 增长、C_T=Ω(√T)，并给出平滑尺度不变目标下的收敛保证。在 160M、400M 稠密模型和 135M 激活/1B 总参数 MoE 预训练中，长训练周期下验证困惑度低于 MuonH，稠密模型在匹配验证损失时估计约 15% token 等效加速。

要点速读

1. 论文用累积有效学习率 C_T 分析 Muon 的范数控制，称原始 Muon 只能对数累积，MuonW 与 MuonH 在给定条件下至少线性累积。
2. MuonGS 通过 Gram-Schmidt 投影移除更新的径向分量，不固定权重范数，证明范数至多按 √t 增长且 C_T=Ω(√T)。
3. 在 160M、400M 稠密模型与 135M 激活/1B 总参数 MoE 预训练中，MuonGS 长周期验证困惑度低于 MuonH，稠密模型估计约 15% token 等效加速。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。