LLM标注可能事实正确却方法上无效
资讯摘要
论文研究LLM标注文本时是否依赖先验知识而非文本证据，提出“记忆捷径”概念。作者用995位知名公众人物及匹配对照名构造反事实文本，对三个商用LLM各测试121,594条提示。结果显示模型在记忆与文本冲突时并不优先记忆，但在证据缺失时，知名姓名会提高模型输出记忆中的职业、年龄、国家等属性；这些标注虽对同名者事实正确，却无文本支持。评估威胁与答案相关奖励会放大该效应，姓名提醒与姓名遮蔽可消除捷径。
要点速读
- 论文提出“记忆捷径”：证据缺失时，知名姓名使模型输出记忆中的职业、年龄、国家，某模型分别提高17.0、14.9、6.8个百分点。
- 98.6%的此类标注对同名者事实正确，但均无文本证据支持；评估威胁和答案相关奖励分别放大捷径8.7和12.4个百分点。
- 姓名提醒与姓名遮蔽均可消除捷径，但在性别标注上存在取舍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。