回到最新动态
论文更新 / THE SIGNAL

大语言模型在线策略蒸馏综述

A Survey of On-Policy Distillation for Large Language Models

重要性 5.0 AI 辅助整理

综述用统一框架梳理在线策略蒸馏的方法与设计取舍。

资讯摘要

这篇综述论文围绕在线策略蒸馏(OPD)建立统一分析视角,即由学生模型生成轨迹、教师模型提供指导,以缓解固定示范与部署时实际状态不匹配的问题。作者从学生生成状态、教师信息与策略更新三者的互动出发,把基础蒸馏与自蒸馏、多教师整合、强化学习及交互式智能体联系起来,讨论不同设定如何改变学生可获得的监督信号,并将其与能力迁移、训练效率和部署关联。

要点速读

  1. 论文提出以学生生成状态、教师信息和策略更新三者的互动来统一理解 OPD。
  2. 该框架连接基础蒸馏、自蒸馏、多教师整合、强化学习与交互式智能体。
  3. 作者关注学生演化过程中指导何时仍可靠且可学习,并讨论监督适配与算力分配的开放挑战。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开