OPD 传递推理行为而非答案，同源师生迁移更广。
资讯摘要
论文对在线策略蒸馏（OPD）的泛化行为做了受控研究，逐一改变域内分布偏移、跨域迁移和多教师设置等泛化因素。作者报告，OPD 传递的是教师的推理行为而非具体答案：训练难度影响很小，教师未解出的问题也有用；迁移效果强依赖师生同源关系，同源组合可跨语言、推理范围乃至其他领域接近教师，异源组合则多只拟合训练分布。这种广泛影响也带来副作用：按领域路由提示无法限制各教师的影响，多教师组合会在能力间形成依赖混合的跷跷板。
要点速读
- 论文提出 OPD 传递的是教师的推理行为而非答案，训练难度影响很小，教师未解出的问题也有用。
- 同源师生组合可跨语言、推理范围和其他领域接近教师，异源组合主要拟合训练分布。
- 按领域路由提示无法限制教师影响，多教师组合会出现依赖混合的能力跷跷板。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。