论文证明注意力汇等价于输出恒为0的硬注意力切换。
资讯摘要
该论文研究注意力汇（sink）与对角模式作为注意力切换和防过平滑机制的作用。作者给出汇可被表示的几何条件，指出汇嵌入需与其他所有嵌入对齐；细化汇在防过平滑中的角色，明确稠密注意力比稀疏注意力更易平滑的条件并在实验中验证其常见性；证明汇与输出恒为0的硬注意力切换等价，并允许token自通信以放松硬切换，定量比较表示汇与对角模式的代价，解释预训练Transformer偏好汇的原因。
要点速读
- 论文给出汇可表示的几何条件：汇嵌入需与其他所有嵌入对齐
- 论文明确稠密注意力比稀疏注意力更易平滑的条件，并实验验证这些条件在实践中常被满足
- 论文证明汇与输出恒为0的硬注意力切换等价，并定量比较汇与对角模式的表示代价
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。