论文提出 Anchor，仅在锚点层放置循环记忆并跨层共享状态。
资讯摘要
论文研究滑动窗口注意力与测试时训练（TTT）混合架构，发现长上下文检索能力在深度上分布稀疏，集中在少数“锚点层”，其余层的循环状态信息相近。据此提出 Anchor：仅在锚点层放置 TTT 记忆，并让跨层循环状态写一次、由多层通过各自学习到的读取映射共享。作者报告在 Llama-3.1-8B 与 Mistral-7B 上，其召回率与 MMLU 准确率优于 LoLCATs，循环状态缩小 10 倍。
要点速读
- 论文发现混合架构中长上下文检索集中在少数锚点层，其余层状态信息相似。
- Anchor 只在锚点层放置 TTT 记忆，跨层循环状态写一次、多层各用自己的读取映射读取。
- 作者报告在 Llama-3.1-8B 和 Mistral-7B 上，召回率比 LoLCATs 高 2.3-3.1 倍，MMLU 高 6.7-8.9 分，循环状态小 10 倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。