回到最新动态
研究论文 / THE SIGNAL

语言模型如何将时间锚点整合进事实回忆

Tracing How Language Models Integrate Temporal Anchors into Factual Recall

重要性 5.5 AI 辅助整理

论文用因果干预揭示时间锚点影响事实回忆的两条并行路径。

资讯摘要

论文提出“锚定事实回忆”任务:模型接收显式条件表达式(锚点),需选出在该条件下成立的对象。作者以时间锚点为例,对四个开放权重模型做因果干预,识别出两条并行路径:主体中介路径中,锚点将最终主体token表示解析到所查询年份,关系再通过注意力头重新分配该状态的读出;直接路径中,末位注意力关注锚点,上层MLP将其转为对时间合适对象的偏好。两条路径贡献相加,多数查询同时使用,平衡取决于查询(如关系),且跨模型一致。

要点速读

  1. 论文提出锚定事实回忆,将事实回忆从检索单一对象扩展为在上下文相关备选中选择。
  2. 作者在四个开放权重模型上做因果干预,识别出主体中介与直接两条并行路径。
  3. 两条路径贡献相加,多数查询同时使用,其平衡随查询(如关系)变化且跨模型一致。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开