论文研究 LLM 的过期绑定失败

论文发现模型会用上下文中的旧值作答，并给出注意力层面的解释与干预。

资讯摘要

论文提出“过期绑定”失败：上下文中同一变量存在新旧多个值时，模型可能用旧值作答。作者构建 Controlled In-Context Memory（CICM）基准，发现前沿推理模型也会无法恢复当前状态。在开源模型中，探针仍能读出更新值，说明问题出在信息选择；Qwen 与 Pythia 的组件测试指向“注意力漂移”，并用单层 Transformer 给出数学解释。据此在不额外训练的情况下调整注意力，可纠正多数旧值错误。

要点速读

1. 论文提出 CICM 基准，用于追踪对话与智能体日志中更新信息的使用情况。
2. 作者报告前沿推理模型也可能无法恢复当前状态；开源模型探针仍能恢复更新值，指向选择失败。
3. 作者将机制归为注意力漂移，并通过重定向注意力在不训练的情况下纠正多数旧值错误。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。