动态记忆 Transformer：恒定成本注意力与选择性循环记忆

DMT 以固定尺寸循环记忆加注意力读取，语言建模仍落后 Mamba。

资讯摘要

论文提出 Dynamical Memory Transformer（DMT），一种将序列编码与信息读取分离的混合架构：编码器由多个记忆单元组成，每个单元是以复数对角循环矩阵实现的动力系统，并由输入相关的泄漏率控制更新；解码器通过注意力读取并组合这些单元的输出，不经过 token 历史。该循环形式支持 O(T) 总工作量、O(log T) 并行深度的关联扫描，自回归推理时循环状态与卷积缓存尺寸固定。作者报告 DMT 在多项认知任务上表现最佳，语言建模接近 Transformer 但落后于 Mamba，在选择性复制上长度外推强于两者。

要点速读

1. 编码器用复数对角循环矩阵的动力系统作记忆单元，输入相关泄漏率控制更新，解码器以注意力读取其输出而非 token 历史。
2. 循环形式支持 O(T) 总工作量、O(log T) 并行深度的关联扫描，推理时循环状态与卷积缓存尺寸固定。
3. 作者报告：多项认知任务最佳，语言建模接近 Transformer 但落后 Mamba，选择性复制长度外推强于两者。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。