Muon缩放权重衰减优势多来自调参差距

Muon-SW约九成优势来自调参差距，剩余小优势随规模增大。

资讯摘要

论文在MAI-Base-2协议下重新比较Muon-SW与恒定解耦权重衰减：对每种方法联合调优学习率与权重衰减，并在1.9M至15M活跃参数的MoE缩放阶梯上测试。作者报告，共享超参时Muon-SW领先0.035 BPB，调优后差距降至0.0026 BPB，约九成优势消失；剩余优势在最小规模四个配对种子中均成立，并随模型规模增大而上升。

要点速读

1. 共享超参下Muon-SW领先0.035 BPB（约1.52倍算力节省），双方调优后差距为0.0026 BPB（95% CI [0.0018, 0.0034]），约90%优势消失
2. 调优后的剩余优势随活跃参数扩大8倍从0.0036升至0.0051 BPB，未调优差距则从0.035降至0.024，存活比例约从10%升至21%
3. 最优LRWD乘积随规模增长，Muon-SW增长更快（比值1.40至1.91）；用两个最小规模拟合的规律在第三规模上高估1.3至1.5倍，最多损失0.002 BPB

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。