OP-Mix 用低秩适配器插值统一预训练到指令微调的数据混合。
资讯摘要
论文提出 OP-Mix（On-Policy Mix），将数据混合视为贯穿预训练、中训练和指令微调的在线决策问题。作者报告，该方法通过在当前模型上训练的低秩适配器之间插值来低成本模拟候选混合方案，无需单独的代理模型；在预训练中平均困惑度较不混合训练改善 6.3%，在持续学习中分别以少 66% 和 95% 的总体算力匹配重训练与 on-policy 蒸馏的表现。
要点速读
- 论文认为现有数据混合方法只覆盖单一训练阶段，持续学习缺乏原则性指导，因此提出统一的在线数据混合算法 OP-Mix。
- OP-Mix 用当前模型上训练的低秩适配器插值来模拟候选数据混合，避免额外代理模型，使搜索基于模型实际学习动态。
- 作者报告：预训练平均困惑度较无混合训练提升 6.3%；持续学习匹配重训练和 on-policy 蒸馏，总体算力分别减少 66% 和 95%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。