新基准MemShift将记忆检测与修复分开评分，并评测四个开放权重LLM。
资讯摘要
论文提出MemShift基准，用于评估LLM从个人记录中派生并维护记忆值的两个环节：检测输入变化与修复生成新值。基准包含源修订、删除、重定义、写者切换和导出五类变化，前三种将合成世界分叉为仅在变化处不同的分支，金标准值与依赖在文本生成前固定，并用确定性评分器替代LLM评判。作者报告，对四个开放权重LLM的评测显示检测效果受修复能力限制，LLM很少能正确重算由个人定义得出的值，而由其编写、作用于类型化记录的程序可缩小与精确重算的差距。
要点速读
- MemShift包含源修订、删除、重定义、写者切换、导出五类变化，前三种通过分叉合成世界隔离变化。
- 金标准值与依赖在文本生成前固定，使用确定性评分器而非LLM评判。
- 对四个开放权重LLM的评测显示，检测帮助受修复能力限制，LLM正确重算的值很少；LLM编写的程序可缩小与精确重算的差距。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。