论文：抽象式上下文学习不依赖归纳电路

论文称抽象式上下文学习可不依赖归纳电路涌现

资讯摘要

论文提出训练方法 Hapax，通过剔除归纳电路可预测 token 的损失贡献，控制模型对复制能力的训练压力。作者报告，即使归纳复制大幅减少、且未出现原始训练中的典型相变，抽象式少样本上下文学习能力仍能涌现；注意力头分析显示 Hapax 模型形成的归纳头更少更弱。作者据此认为，归纳电路相关涌现现象与抽象式 ICL 出现之间的发展联系弱于此前假设。

要点速读

1. 论文提出 Hapax 训练机制，省略归纳电路可预测 token 的损失贡献，以控制复制训练压力。
2. 作者报告抽象式 ICL 能力仍能涌现，尽管归纳复制显著减少且缺少原始训练中的相变。
3. 注意力头分析显示 Hapax 训练模型形成的归纳头更少、更弱。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。