回到最新动态
研究论文 / THE SIGNAL

BlindToChange:AI代理能否主动发现影响回答的近期变化

BlindToChange: AI Agents Can Find Changes When Asked But Do They Look When Needed?

重要性 5.5 AI 辅助整理

新基准显示代理常不主动核实近期变化,性能差距可达27.5分。

资讯摘要

论文提出 BlindToChange 基准,用于衡量 AI 代理是否会主动发现并纳入用户请求未明说的近期现实变化。基准中的推荐类请求都设有一个因近期事件而失效的明显候选答案,事件自动取自 Wikidata,可定期刷新。作者报告,在未明确提及近期事件时,系统表现比直接询问该事件时最多低 27.5 分,即便推理投入较高也是如此;轨迹分析显示,过半失败源于代理未直接搜索核实相关事实是否已变化。

要点速读

  1. 论文指出 BrowseComp 等基准会明确说明要找什么,因而无法暴露代理未意识到自身假设需核实的问题。
  2. BlindToChange 的请求只给出最终信息需求,代理需自行发现相关变化及其后果。
  3. 作者报告未明说事件与直接询问之间最多存在 27.5 分差距,过半失败归因于未直接搜索核实事实是否变化。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开