惊讶度筛选学习内容会让模型大量吸收虚假陈述。
资讯摘要
论文研究大语言模型持续学习中以“惊讶度”筛选学习内容的风险：模型对已知事实的虚假陈述天然感到惊讶，导致惊讶驱动学习器几乎全部吸收谎言。作者用LoRA适配的Qwen2.5-1.5B、Qwen2.5-3B和Llama-3.2-3B，在虚构人物与CounterFact事实流上测试，报告四项发现：验证器可过滤谎言但真实LLM评审过于保守；校准回归测试只减慢学习；模型自身先验可区分已知事实的谎言与真实新事实（AUC 0.78-0.83），但对同类事实的合法更新无效（AUC 0.53）；将矛盾陈述路由至可信证据可恢复合法更新，但攻击者植入匹配来源时效果变差。
要点速读
- 惊讶度驱动的持续学习会以接近随机选择的速率吸收关于已知事实的谎言。
- 模型自身先验区分谎言与真实新事实的AUC为0.78-0.83，但对同类事实合法更新的AUC仅0.53。
- 将矛盾陈述路由至可信证据可降低中毒率，但攻击者为30%谎言植入匹配来源时系统劣于仅用评审。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。