回到最新动态
研究论文 / THE SIGNAL

MemUse:在使用点评估智能体记忆

Delivered, Not Used: Evaluating Agent Memory at Its Point of Use

重要性 5.5 AI 辅助整理

论文提出在使用点评估智能体记忆的 MemUse 方法

资讯摘要

论文提出 MemUse,在记录轨迹中于记忆的使用点进行评估:将每次记忆投递与智能体当时已可见的内容对比,并追踪其后续动作与后果。智能体评审对每条投递条目的相关性、准确性、新颖性、影响力和实际效果打分,程序化检查确保完整阅读引用证据,固定规则汇总为与记忆历史和投递成本关联的判定。作者在三个记忆系统的 8000 个 SWE-bench Verified 任务上报告,解决率与无记忆基线相差不超过 0.4 个百分点,但多数投递条目无关、多数相关条目未被使用,两个系统中多数投递重复了智能体仍可见的内容。

要点速读

  1. MemUse 在使用点评估记忆投递,结合智能体后续动作与后果判断记忆是否被使用及产生何种影响。
  2. 在三个记忆系统的 8000 个 SWE-bench Verified 任务上,解决率与无记忆基线相差不超过 0.4 个百分点。
  3. 作者报告多数投递条目无关、多数相关条目未被使用,且 23.2% 有益记忆使用的任务仍失败、16 个有害使用任务中 5 个仍成功。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开