论文称两跳诅咒源于事实写入方式而非推理缺陷
资讯摘要
论文提出，微调写入新事实后模型无法完成两跳推理，并非推理能力缺失，而是写入方式与模型读取方式不匹配：第二跳从中层起把桥接短语当作实体读取，而微调后的桥接表示并未更接近新实体。作者提出 Legible 方法，用一个损失项使桥接短语在第二跳读取层上的表示与模型对新实体的自身读取一致，且不改变同一关系的其他主语。
要点速读
- 论文将两跳诅咒归因于写入方式而非推理缺陷：微调把新事实写成待说出的答案，而第二跳把桥接短语当作实体读取。
- Legible 用单一损失项对齐桥接短语与模型自身对新实体的表示，短语与目标均取自被编辑模型，不使用多跳训练数据。
- 作者报告在 Qwen2.5、Llama-3、Qwen3 上，Legible 在 MQuAKE 两跳问题上组合新事实的频率高于模型组合自身知识，桥接准确率为 CaKE 的 1.8–2.6 倍，并在 RippleEdits 与 14B 规模上缓解该问题。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。