线性注意力在混合语言模型中构建查询

线性注意力负责构建查询，softmax注意力负责查找。

资讯摘要

论文重新审视混合语言模型中线性注意力与softmax注意力的分工，提出线性注意力并非只压缩上下文，而是直接参与检索：它构建softmax注意力所用的查询。作者在Qwen3.5（Gated DeltaNet）与Granite4.0（Mamba-2）中识别出Encode–Address电路，早期Encode块保留token身份，Address块构建最终位置表示供softmax读取器形成查询。跨提示移植该表示可在0.97–0.99的情况下改变检索目标。

要点速读

1. 论文提出Encode–Address电路：Encode块保留token身份，Address块构建最终位置表示，softmax读取器据此形成注意力查询。
2. 在不同查询键的提示间移植该表示，可在0.97–0.99的情况下重定向检索；Address块的循环状态携带检索目标。
3. 用Qwen的Address块替换Granite的对应模块，在不更新权重的情况下将检索准确率恢复至0.92–0.94；在六个Qwen3.5模型中，Address计算随规模增大沿块链分布。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。