检索到正确事实仍可能被过时陈述干扰而答错。
资讯摘要
论文在 MemoryAgentBench 的 FactConsolidation 任务上区分“检索不到更新”与“检索到却未使用更新”两类失败。作者报告,Qwen2.5-7B-Instruct 在 6K 历史 BM25 下,检索证据预算从 64 增至 512 token 时准确率由 45% 降至 32%,尽管事后审计显示每组检索结果都含最新陈述;错误多出现在同时含过时版本的问题上。
要点速读
- 6K 历史 BM25 场景中,Qwen2.5-7B-Instruct 准确率随检索预算从 64 增至 512 token 由 45% 降至 32%,但审计发现最新陈述均在检索集中。
- 固定提示词、证据同为四句时,用过时竞争陈述替换一句无关陈述,Qwen2.5 准确率从 100% 降至 44.6%,Qwen3-14B 从 100% 降至 87.8%。
- 32K 历史复现同样显示 BM25-64 优于 BM25-512(69% 对 58%)。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。