新基准 ColaBench 联合评估记忆引导的知识获取与规则应用。
资讯摘要
论文提出 ColaBench，一个面向健康与日常生活场景的合成基准，包含 10 个用户画像下的 349 个任务和 13,033 篇文档的知识库，用于联合评估智能体利用历史条件识别所需知识并应用到用户情境的能力。作者同时提出 MemKB 方法，借助状态摘要生成查询与规则应用，并通过记忆—文档链接检索知识；作者报告其准确率为 86.25%，平均每任务 4.07 轮交互。
要点速读
- ColaBench 含 349 个任务、10 个 Profiles 与 13,033 篇文档，Evidence Graph 连接个人条件、披露会话与答案证据。
- MemKB 使用状态摘要指导查询与规则应用，并以记忆—文档链接检索知识，作者报告 86.25% 准确率、平均 4.07 轮交互。
- 任务级分析显示跨多条历史事实整合的任务收益更大；错误分析指出无依据的个人假设与规则误用是主要障碍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。