EvalMem：长期记忆系统的操作级诊断框架

EvalMem 将记忆系统错误定位到编码、检索、生成三层，检索缺陷最常见。

资讯摘要

论文提出 EvalMem，一个面向 LLM 长期记忆系统的操作级诊断框架，用编码、检索、生成三个 Examiner 分别检查目标事实是否被存储、原生检索器能否返回可用证据、模型能否基于 oracle 证据作答，并输出细粒度多标签缺陷码。作者在 LoCoMo、LongMemEval-S 和 DynaMem-Bench 上评估七个记忆系统，报告检索是最常被归因的失败层；据此构建的 MemWiki 辅助结构使平均准确率分别提升 2.5 和 2.3 个百分点。

要点速读

1. EvalMem 通过编码、检索、生成三个 Examiner 将端到端 QA 错误拆解到具体操作环节，输出多标签缺陷码。
2. 作者采用 recall-first 的 agentic RAG，在 LoCoMo 上把现有证据的召回率从 70.2% 提升到 95.6%。
3. 在默认 LoCoMo 上，检索缺陷占 22.1%，高于编码的 7.7% 和生成的 6.5%；基于诊断构建的 MemWiki 在 LoCoMo 与 LongMemEval-S 上平均准确率分别提升 2.5 和 2.3 个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。