论文提出可区分探索与利用错误的新指标,并评估35个语言模型智能体。
资讯摘要
论文针对语言模型智能体在决策中难以区分探索与利用错误的问题,设计了部分可观测的2D网格地图与未知符号任务DAG,并提出一种与策略无关的指标来检测无效遍历,同时允许必要的回溯。作者用可控难度的地图和任务DAG评估了35个前沿语言模型智能体,发现即使最先进模型也难以在步数预算内达成目标;探索与利用错误的对数与任务成功率的R²分别为0.885和0.875。论文还发现紧凑记忆框架的任务成功率高于保留自身推理轨迹的推理基线,并将指标扩展到Minecraft Clone。
要点速读
- 论文设计部分可观测2D网格地图与未知符号任务DAG,抽象实际智能体场景。
- 提出与策略无关的指标检测无效遍历,并按当前状态是否可有效探索或利用来归因错误。
- 评估35个前沿语言模型智能体,探索与利用错误对数与任务成功率的R²分别为0.885和0.875。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。