多视角蒸馏降低参考敏感性

论文提出 MCPD，用多视角平均降低 OPSD 的参考敏感性。

资讯摘要

论文指出，on-policy self-distillation（OPSD）依赖完整参考解进行教师监督，但参考解只是推理过程的一种实现，替换为另一份有效参考会显著改变教师分布，作者称之为“参考诱导的目标不稳定”。为此论文提出 Monte Carlo Privileged Distillation（MCPD），将特权上下文建模为部分参考视角上的分布，在多个视角下评估教师并对下一 token 分布取平均，作者称该概率空间平均等价于最小化期望 KL 散度的精确目标。

要点速读

1. 论文识别出 OPSD 中完整参考条件导致的参考诱导目标不稳定现象
2. MCPD 在多个部分参考视角下评估教师并平均下一 token 分布
3. 作者报告在数学与科学推理基准上 MCPD 优于完整参考的 OPSD

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。