论文提出 APD，在文档问答知识注入上优于 OPD。
资讯摘要
论文指出，在文档问答基准上，on-policy 蒸馏（OPD）注入文档知识的效果远不如简单的 off-policy 蒸馏，原因在于 reverse KL 几乎不会提升学生模型认为不太可能的文档专属 token，而学生 rollout 对后续位置的覆盖会随目标长度增加而变差。作者提出 Adaptive-Policy Distillation（APD），用逐 token 门控在需要时把 rollout 拉向教师、把目标转向 forward KL，并随学生学习逐步撤回干预。作者报告，在无标签、无验证器条件下，APD 相对 OPD 最高提升 54.6%，在 QASPER 上取得 0.558 F1、在 BioASQ 上取得 0.486 MRR。
要点速读
- 论文发现 OPD 在文档问答知识注入上不如 off-policy 蒸馏，并将其归因于 reverse KL 的梯度加权和 rollout 覆盖问题。
- APD 使用逐 token 门控，在需要时同时调整 rollout 与蒸馏目标，并随学生学习逐步撤回干预。
- 作者报告 APD 在无标签、无验证器下相对 OPD 最高提升 54.6%，QASPER 0.558 F1、BioASQ 0.486 MRR。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。