在线策略蒸馏中的证据绕过现象

在线策略蒸馏提升答案准确率却削弱模型对证据的响应

资讯摘要

论文研究在线策略蒸馏（OPD）在科学文档问答中的副作用，提出“证据绕过”：文档被改为支持另一答案后，学生模型仍保留原答案。在 QASPER 上用 Qwen3-4B 学生模型，标准 OPD 使原文档准确率提高 3.4 个百分点、反事实准确率下降 5.3 个百分点、绕过率上升 15.7 个百分点，PeerQA 上方向一致。作者提出 EP-OPD，用配对文档监督加答案级 margin，在两个数据集和两种学生规模上恢复 54–66% 的反事实准确率损失，同时保留 80–85% 的原文档准确率增益。

要点速读

1. 论文定义“证据绕过”：文档改为支持不同答案后，学生仍输出原答案
2. QASPER 上标准 OPD 原文档准确率 +3.4 点、反事实准确率 -5.3 点、绕过率 +15.7 点
3. EP-OPD 恢复 54–66% 反事实准确率损失，保留 80–85% 原文档准确率增益

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。