论文：注意力头维度影响长上下文检索

论文发现固定规模下更宽注意力头可提升长上下文检索。

资讯摘要

论文研究注意力头维度对长上下文检索的影响。作者报告，在固定模型规模下，预训练损失和短上下文非检索任务表现受头维度影响不大，而长上下文检索性能随头变宽而提升；宽头模型的检索头占比更高。消融实验显示，长上下文持续预训练时冻结注意力投影权重，检索性能仍随头变宽提升，说明宽头还促进嵌入和 MLP 等组件的适配。

要点速读

1. 固定模型规模下，预训练损失与短上下文非检索任务表现受头维度影响较小，长上下文检索性能随头变宽而提升。
2. 宽头模型具有更高比例的检索头，将更多参数用于检索。
3. 冻结注意力模块投影权重进行长上下文持续预训练时，检索性能仍随头变宽提升，作者认为宽头还利于嵌入和 MLP 等组件的适配。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。