WN 训练的收益主要来自有效学习率轨迹而非归一化本身
资讯摘要
论文指出，权重归一化（WN）训练相较权重衰减（WD）的预训练损失收益，主要来自其诱导的有效学习率（ELR）轨迹，而非归一化本身；对齐 ELR 轨迹后，两者的训练损失动态基本一致。作者据此提出 AIR（Affine Inverse-square-Root decay）调度，将理论推导的 1/t 衰减与仿射调整结合，以满足设定的峰值与末端学习率。在 128B token 的 MoE 预训练中，AIR 在训练损失、下游表现和超参鲁棒性上优于 cosine 等候选调度，相同累计学习率下末端训练损失约降低 0.01。
要点速读
- 论文称 WN 相对 WD 的损失收益主要由有效学习率轨迹驱动，匹配 ELR 后两者训练动态基本重合
- 提出 AIR 调度：1/t 衰减加仿射调整，满足有限训练周期内的峰值与末端学习率约束
- 128B token MoE 预训练中 AIR 优于 cosine，末端训练损失约低 0.01；同一 ELR 轨迹用于 WD 可复现相应动态
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:16（北京时间）。