回到信息流
研究论文 / THE SIGNAL

AdaExploreBench:评估LLM智能体主动探索与测试时适应

AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments

AI 辅助整理

资讯摘要

论文提出 AdaExploreBench,用于评测 LLM 智能体在不断变化环境中的主动探索与测试时适应能力。该基准将环境动态建模为隐藏规则,要求智能体主动收集证据并推断规则;在隐式规则漂移下,规则会无提示地改变,智能体需从性能下降中察觉旧知识失效并重新探索。作者报告,在八个领先 LLM 上,GPT-6 Sol 的校准准确率仅为 61.9%;提供充分证据或移除规则漂移可使平均表现提升近 10%。

要点速读

  • AdaExploreBench 以隐藏规则表示环境动态,要求智能体主动获取证据并推断规则。
  • 隐式规则漂移下规则无公告变化,智能体需从性能下降中识别旧知识失效并重新探索。
  • 作者报告八个领先 LLM 中 GPT-6 Sol 校准准确率为 61.9%,提供证据或移除规则漂移使平均表现提升近 10%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/21 02:34:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开