首词元广播头：Transformer语言身份机制研究

论文用头消融定位Transformer中维持输出语言的关键注意力头

资讯摘要

论文提出语言身份头消融（LIHA）方法，逐个将注意力头置零并测量语言切换率，以考察Transformer中语言身份的因果机制。作者报告，GPT-2中存在一小组“首词元广播头”，以L6H1为首，持续关注首个提示词元；Qwen2.5-1.5B的基座模型与指令模型因果影响分布差异明显，指令模型集中于第0层附近。GPT-2在欧洲语言实验中识别的头在中文和俄语提示上未观察到切换效应。

要点速读

1. 论文提出LIHA因果干预方法，逐个置零注意力头并测量语言切换率
2. GPT-2中L6H1等首词元广播头持续关注首个提示词元，L6H1切换率0.32
3. Qwen2.5-1.5B基座模型切换率近乎平坦，指令模型因果影响集中于第0层附近

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。