论文用投影核度量注意力头权重子空间相似度。
资讯摘要
论文关注注意力头权重矩阵张成的子空间，提出用基于主夹角的投影核（PK）量化头与头之间的关系。作者在 GPT2-small、BLOOM-560M 和 Qwen2-0.5B-Instruct 上实验，报告 PK 在 IOI 任务上比 Composition Score 等既有指标更清晰地复现已知的头间交互；并提出通过与随机正交子空间参考分布比较来评估 PK 分布信息量的框架。应用上，作者分析由 PK 构建的有向图，指出 GPT2-small 中 L4H7 作为 Identity Head 充当枢纽。
要点速读
- 论文提出基于主夹角的投影核（PK），度量注意力头权重矩阵所张成子空间之间的相似度。
- 在 GPT2-small、BLOOM-560M、Qwen2-0.5B-Instruct 上，作者报告 PK 在 IOI 任务上比 Composition Score 更清晰地复现已知头间交互。
- 作者提出以随机正交子空间参考分布衡量 PK 分布信息量的框架，并分析 PK 有向图，称 GPT2-small 的 L4H7 作为 Identity Head 充当枢纽。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。