回到最新动态
交叉发布 / THE SIGNAL

τ-Rec-Books:需求引导基准

τ-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

重要性 5.5 AI 辅助整理

需求披露越隐蔽,智能体推荐成功率越低,主动提问是关键。

资讯摘要

论文提出 τ-Rec-Books 基准,用于评估 AI 智能体在对话推荐中逐步发现用户需求的能力。该基准固定用户请求,只改变需求披露时机:全部在开头给出、部分需主动询问、部分始终隐藏。作者基于 Wikidata 的 2 万本书目录生成 450 个任务,用规则模拟用户作答,并按目录元数据评分。结果显示,四类智能体在隐藏需求场景下成功率明显下降。

要点速读

  1. 基准设三种需求披露模式:volunteer(开头全给)、mixed(部分需询问)、hidden(部分永不透露),隐藏需求只能通过推荐书籍并从用户接受或拒绝中推断。
  2. 基于 Wikidata 的 2 万本书目录生成 450 个任务,使用规则模拟用户,按目录元数据评分,不依赖 LLM 评判。
  3. 四类智能体与两种搜索接口下,平均成功率从 volunteer 的 0.975 降至 mixed 的 0.756 和 hidden 的 0.283;mixed 失败主因是智能体不主动提问,被要求提问后均达至少 0.931。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开