Train4Merge：RL 与 SFT 教师对 OPD 模型合并的影响对比

论文报告 RL 教师比 SFT 教师更适合 OPD 模型合并。

资讯摘要

论文对比监督微调（SFT）与强化学习（RL）训练出的领域专家，作为 on-policy distillation（OPD）教师时的效果。作者在 Agentic、Reasoning、Perception 三个领域做单教师对照实验，教师与学生均从 Qwen3.5-9B 初始化，并在相近任务表现下比较。结果显示 RL 教师培养的学生更强、教师增益恢复更高，多教师 OPD 中同样如此；作者认为 RL 教师偏离共享初始化更小，有利于蒸馏。

要点速读

1. 作者在 Agentic、Reasoning、Perception 三个领域对 SFT 与 RL 教师做受控单教师对比，教师与学生共享 Qwen3.5-9B 初始化。
2. 单教师实验中，RL 教师产出的学生更强，且对教师性能增益的恢复率更高。
3. 多教师 OPD 中 RL 教师组的三领域平均分与整体教师增益恢复均高于 SFT 教师组；分析显示 RL 教师参数位移更小、师生 Top-K 重叠更高。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。