论文用因果干预揭示时间锚点影响事实回忆的两条并行路径。
资讯摘要
论文提出“锚定事实回忆”任务:模型接收显式条件表达式(锚点),需选出在该条件下成立的对象。作者以时间锚点为例,对四个开放权重模型做因果干预,识别出两条并行路径:主体中介路径中,锚点将最终主体token表示解析到所查询年份,关系再通过注意力头重新分配该状态的读出;直接路径中,末位注意力关注锚点,上层MLP将其转为对时间合适对象的偏好。两条路径贡献相加,多数查询同时使用,平衡取决于查询(如关系),且跨模型一致。
要点速读
- 论文提出锚定事实回忆,将事实回忆从检索单一对象扩展为在上下文相关备选中选择。
- 作者在四个开放权重模型上做因果干预,识别出主体中介与直接两条并行路径。
- 两条路径贡献相加,多数查询同时使用,其平衡随查询(如关系)变化且跨模型一致。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。