Muon-RT：复用教师轨迹实现无动量Muon自蒸馏

Muon-RT用教师位移替代动量缓冲，降低自蒸馏训练显存。

资讯摘要

论文提出Muon-RT，在带EMA教师的大模型自蒸馏中复用教师与学生权重位移替代独立动量缓冲区，以降低持续训练显存。作者称该位移编码了更新历史的指数加权并平滑噪声，经去径向分量、谱归一化后与Newton-Schulz正交化后的当前梯度混合，并在假设下给出目标差距线性收缩界。在Qwen2.5-7B-Instruct的SDFT实验中，其平均准确率较AdamW高2.6点、持续显存少42%，较动量Muon高5.4点、显存少27%。

要点速读

1. Muon-RT复用教师-学生位移，消除隐藏权重矩阵的独立动量缓冲区，减少持续训练内存。
2. 方法对位移去径向分量、谱归一化，并与Newton-Schulz正交化后的当前梯度混合。
3. 作者报告Qwen2.5-7B-Instruct上SDFT平均准确率较AdamW高2.6点、持续内存少42%；Olmo-3-7B-Instruct上SDPO较AdamW高2.0点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。