回到最新动态
研究论文 / THE SIGNAL

LLM智能体错误与自恢复实证研究

When to Intervene? An Empirical Study of Errors and Self-Recovery in LLM Agents

重要性 5.5 AI 辅助整理

论文发现多数智能体错误可自恢复,并提出预测方法ReCoF。

资讯摘要

论文对LLM智能体执行Web与计算机任务时的错误与自恢复进行实证研究,构建含1,259条智能体轨迹、1,403个错误事件的ReInBench数据集。作者报告725个错误事件可自恢复,且多在数步内完成,不同执行LLM的自恢复表现存在差异;自恢复还能帮助应对后续同类错误并支持任务完成。据此论文提出ReCoF,预测错误是否可能自恢复,以判断是否需要外部干预,在ReInBench上Macro-F1较最强基线平均相对提升9.02%。

要点速读

  1. 构建ReInBench数据集,含1,259条智能体轨迹和1,403个错误事件,覆盖计算机使用与Web任务。
  2. 作者报告725个错误事件实现自恢复,多在数步内发生,且自恢复表现因执行LLM而异。
  3. 提出ReCoF预测错误能否自恢复,在ReInBench上Macro-F1较最强基线平均相对提升9.02%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开