资讯摘要
论文提出记忆基础模型架构 MemT-1.0，将记忆内化为模型计算的一部分。它基于 Metis，采用 Gated DeltaNet-2 与稳定的 token 级记忆更新机制，并引入 Mixture-of-Storage 扩展原生记忆容量。作者报告，该模型在记忆与通用能力评测中平均优于参数化记忆基线，与检索增强方法相当，并基本保持通用能力。
要点速读
- MemT-1.0 基于 Metis，采用 Gated DeltaNet-2 与稳定的 token 级记忆更新机制，并引入 Mixture-of-Storage 扩展原生记忆容量。
- 训练流程为继续预训练加后训练两阶段，使用 34B tokens 训练数据，并发布 MemT-1.0-Nano 与 MemT-1.0-Flash。
- 作者报告在 128K token 历史长度下，MemT-1.0-Nano 端到端推理约加速 1.86 倍，持久存储较全上下文 KV cache 减少 66 倍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/21 00:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。