主谓一致电路在训练中持续重组并趋于稀疏
资讯摘要
论文追踪 pythia-1b 与十个随机种子的 pythia-410m 在训练过程中主谓一致电路的变化。作者报告：主谓一致能力习得较早，初期由分散的神经元集合承担；行为稳定后，负责该行为的机制仍持续重组，pythia-1b 早期由两个注意力头控制，后期改由另一个不同的头控制；电路随训练收缩，pythia-1b 最终电路明显稀疏。
要点速读
- 论文追踪 pythia-1b 和十个种子的 pythia-410m 训练中的主谓一致电路
- 主谓一致习得较早，初期由分散神经元集合处理，稳定后机制仍持续重组
- pythia-1b 的最终电路明显稀疏，控制注意力头在训练中发生更换
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。