Memorilla用16个记忆令牌让冻结LLM高效调用外部知识。
资讯摘要
论文提出Memorilla，一种面向冻结LLM的记忆系统：先将文档一次性编码为可复用嵌入，再学习检索并把与查询相关的信息放入LLM输入嵌入空间，压缩为固定数量的“记忆令牌”。作者报告仅用16个记忆令牌，在个性化、长文档与知识密集型问答等八项基准中的五项优于Mem0、MemoRAG等基线；在FactKG上准确率84.33%，高于全上下文推理的80.43%，且表示源文档所用令牌少108倍。
要点速读
- Memorilla将文档编码为可复用嵌入，并学习检索、把查询相关信息放入冻结LLM的输入嵌入空间，形成固定数量的记忆令牌。
- 作者报告仅用16个记忆令牌，在八项基准中的五项优于Mem0和MemoRAG等基线。
- 在FactKG上准确率84.33%，高于全上下文推理的80.43%，表示源文档所用令牌少108倍；TextWorld中智能体平均成功率由18.6%升至24.2%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。