论文用梯度信噪比一次性校准各模块相对学习率。
资讯摘要
论文提出 MoLS，一种按模块校准相对学习率的方法。作者从梯度信噪比（SNR）角度分析模块间差异的来源，并指出 SNR 与 Adam 归一化平均梯度分量的衰减有关。MoLS 在初始适应期后估计各模块 SNR，用逆平方根缩放一次性确定学习率乘数，在 warmup 阶段平滑引入后固定，全局学习率调度继续。作者报告在 LLM 预训练与微调中困惑度下降、下游准确率提升，开销很小。
要点速读
- 论文分析模块级梯度 SNR 差异的结构性来源，并将其与 Adam 归一化平均梯度分量的衰减联系起来
- MoLS 在初始适应期后估计模块 SNR，以逆平方根缩放替代人工搜索学习率乘数，乘数在 warmup 中平滑引入后固定
- 作者报告在 LLM 预训练和微调实验中困惑度降低、下游准确率提升，且可与内存高效优化器和参数高效微调结合
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。