资讯摘要
论文提出混合架构中存在“竞争性学习”现象：不同混合器会竞争学习同一功能，某层学会后便抑制其他层对应的学习信号。层归因分析显示，现代循环层在典型数据分布下比softmax注意力更快学会检索功能，导致注意力多数情况下学不会检索；训练中途停止循环层权重更新可帮助注意力学习检索。作者据此提出分阶段预训练流程，并在最大1B参数模型上报告语言建模损失、常识推理及多种检索任务有所改善。
要点速读
- 论文揭示混合架构中不同混合器竞争学习同一功能，任一层学会后会抑制其他层的学习信号。
- 层归因分析显示现代循环层比softmax注意力更快学会检索，导致注意力多数情况下无法学会检索。
- 作者提出分阶段预训练流程，并在最大1B参数模型上报告语言建模、常识推理和检索任务改善。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/21 02:34:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。