参数复用结构使模型更早习得并更强保持上下文学习能力。
资讯摘要
论文研究循环与深度增长语言模型如何影响上下文学习（ICL）。作者在最高3B参数的预训练模型和受控任务上分析发现，这类模型更依赖上下文信息，比全深度稠密参考模型更早习得ICL，在权重中学习固定关联时也更能保持该能力。注意力头追踪显示深度增长会把早期归纳头传播到各层，消融实验表明两类模型在少样本表现和后续词预测上更依赖归纳排序头。
要点速读
- 研究覆盖最高3B参数的预训练语言模型与受控任务，考察ICL的习得、保持与机制。
- 深度增长与循环模型更依赖上下文，ICL习得更早、在权重学习固定关联时保持更强。
- 深度增长将早期归纳头传播至各层；消融显示两类模型更依赖归纳排序头。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。