回到最新动态
论文更新 / THE SIGNAL

OdysseyArena:评测大模型长程主动归纳交互

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

重要性 5.5 AI 辅助整理

新基准 OdysseyArena 转向长程主动归纳交互评测

资讯摘要

论文提出 OdysseyArena 基准,将智能体评测从依赖显式规则与静态目标的演绎范式,转向长程、主动、归纳式交互:智能体需从经验中自行发现潜在状态转移规律。作者形式化并实例化四种基本原语,构建含 120 项任务的 OdysseyArena-Lite 用于标准化评测,并推出 OdysseyArena-Challenge,在超过 200 步的极端交互跨度下测试稳定性。对 15 个以上主流大模型的实验显示,前沿模型在归纳场景中仍存在不足。

要点速读

  1. 论文指出既有评测多为演绎范式,任务规则与目标显式给出且规划跨度有限,忽视归纳能力。
  2. 作者构建 OdysseyArena-Lite(120 项任务)与 OdysseyArena-Challenge(极端交互跨度,如超过 200 步)。
  3. 作者报告在 15 个以上领先大模型上的实验显示,前沿模型在归纳场景中表现不足。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开