Qwen3-8B 后半部分两组层足以完成实体复制，且依赖上下文词元的注意力。
资讯摘要
论文在 Qwen3-8B 上使用 genie-in-a-bottle 与 attention lobotomy 两种方法研究实体复制机制。作者报告，模型后半部分的两组层对实体复制既必要又充分；除解码位置对实体词元的注意力外，上下文词元对实体词元的注意力也是精确复制所必需的，尽管上下文词元本身不存储实体信息。
要点速读
- 论文提出 genie-in-a-bottle 控制哪些层参与实体复制任务，attention lobotomy 切断特定词元对实体词元的注意力。
- 作者报告 Qwen3-8B 后半部分的两组层对实体复制既必要又充分。
- 上下文词元对实体词元的注意力是精确复制所必需的，但上下文词元本身不存储实体信息。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。