真实群聊基准显示记忆系统召回强但使用弱。
资讯摘要
论文提出 GroupAssistBench，称其为首个基于真实群聊、由已部署群助手产生的记忆基准，覆盖 50 个群、80,299 条消息，成本超 5.3 万美元。该基准在相同历史上同时评测带参考答案的记忆召回（L1）与无固定答案的记忆使用（L2），并区分单一、分布式与冲突记忆。作者报告，最强记忆系统在召回上接近全上下文，但在使用上明显落后，分布式与冲突记忆尤甚。
要点速读
- 基准覆盖 50 个真实群聊、80,299 条消息，成本超过 5.3 万美元。
- 评测分两层：L1 用参考答案测召回，L2 用无固定答案的服务请求测记忆使用，并覆盖单一、分布式、冲突记忆。
- 作者报告最强记忆系统召回接近全上下文，但记忆使用明显落后；关联检索记忆与将记忆绑定为回答约束可带来稳定增益。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。