论文给出 ICL 中标签关联查找的可识别电路与因果证据
资讯摘要
一篇论文提出，在三个 3-4B 参数 Transformer 中，少样本任意标签句子分类的上下文学习由可识别的组件构成：中层注意力头把前序示例的类别写入标签 token 的残差流作为键，上层头将查询类别与这些键匹配并复制对应标签；早期层信号在标签重复时门控该读出，另一组头抑制最近出现的标签。作者用激活修补、头消融和引导做因果验证，并报告该电路可迁移到语义概念。
要点速读
- 论文在三个 3-4B 参数 Transformer 上给出任意标签少样本句子分类的 ICL 电路组成
- 中层头写入示例类别为键，上层头匹配查询并复制标签，早期层重复信号门控读出
- 作者用激活修补、头消融与引导建立因果性，并报告电路可迁移到语义概念
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。