LoopOPD：循环语言模型的跨循环在线策略蒸馏

论文用循环模型自身末端循环作教师实现自我改进蒸馏。

资讯摘要

论文提出 LoopOPD，一种面向循环语言模型（LoopLM）的跨循环在线策略蒸馏框架：以冻结的末端循环策略作为“计算特权教师”，对中间循环学生模型在自生成轨迹上提供稠密监督，无需外部教师或特权信息。作者进一步提出 D-LoopOPD，随共享参数更新持续刷新末端循环教师，实现循环式自我改进，并分析蒸馏更新在循环深度间的传播条件。在 Ouro-Thinking 模型上的实验显示，LoopOPD 提升数学推理，D-LoopOPD 通过动态教师更新获得进一步增益，且在仅用数学数据训练的情况下，通用推理与代码生成基准也有改善。

要点速读

1. LoopOPD 用 LoopLM 内部末端循环作为教师，对中间循环学生做在线策略蒸馏，避免外部教师与师生上下文不匹配。
2. D-LoopOPD 随共享参数更新持续刷新末端循环教师，形成循环式自我改进。
3. 在 Ouro-Thinking 模型上，LoopOPD 提升数学推理，D-LoopOPD 进一步提升，并外溢到通用推理与代码生成基准。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。