数据调度与学习率调度需联合设计，最优数据调度依赖学习率安排。
资讯摘要
论文研究LLM训练中预训练（PT）与中训练（MT）数据混合调度与学习率调度的关系。作者指出，在固定总计算量和MT token预算下，哪种数据调度最优取决于学习率调度：学习率持续衰减时，提前引入MT数据并与PT混合可降低最终MT损失；若学习率恒定，结论则相反。消融实验表明，宜在MT数据进入训练后再衰减学习率，并给出理论模型解释这一依赖关系。
要点速读
- 论文将PT到MT的完全切换视为更一般的数据混合调度特例，研究各批次中PT与MT token比例随训练变化的影响。
- 在固定总计算量和MT token预算下，数据调度的优劣会随学习率调度反转：衰减学习率下提前混合MT更优，恒定学习率下则相反。
- 消融实验发现，在MT数据进入训练后再衰减学习率效果更好，作者并提出理论模型解释该现象。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。