MERLIN：用二阶矩路由改进多状态线性注意力

MERLIN 用键的一阶二阶矩改进 MSLA 的段间路由聚合。

资讯摘要

论文针对多状态线性注意力（MSLA）仅用查询与各段键的均值对齐来聚合信息的问题，提出 MERLIN（MomEnt Routing for multi-state LINear attention），通过跟踪每段键的一阶与二阶矩，让查询同时恢复对齐的均值与方差，从而按内容更充分地聚合各记忆状态的读出。作者报告在 Gated DeltaNet-1.3B 与 Mamba-2-780M 的多状态变体上，MERLIN 在长上下文任务中稳定优于现有聚合方法。

要点速读

1. 论文指出 MSLA 只用查询与各段键的均值对齐进行聚合，忽略了段内对齐的分布信息。
2. MERLIN 跟踪每段键的一阶和二阶矩，使查询可恢复对齐的均值与方差，实现更内容感知的聚合。
3. 作者报告在 RULER needle-in-a-haystack 与长上下文 QA 上，Gated DeltaNet-1.3B 提升 8.3%、Mamba-2-780M 提升 7.0%；LongBench 子任务分别提升 13.5% 和 12.0%，并优于消耗 4 倍内存的基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。