修复为谁而做？LLM智能体修复选择中的评估者-执行者错配

评估修复的模型未必是执行修复的模型，错配会损失部署价值。

资讯摘要

论文研究LLM智能体失败后的修复选择问题：修复方法常用贪心回放、更强模型、环境预言机或读取失败日志的评判器来给候选修复打分，但作者质疑这些评估者选出的修复是否真正有利于实际执行修复的智能体。作者固定失败轨迹与候选单步修复，用部署策略的独立 rollout 为每个候选打标签，衡量各评估者选择损失的部署价值。

要点速读

1. 在未筛选修复价值的失败上，预注册测试显示：相对用部署智能体自身 rollout 选择，贪心回放在 ALFWorld 的期望净成功率增益上损失 0.08–0.13，在 WebShop 的净奖励上损失 0.06–0.13。
2. 在相同 rollout 预算下，用 Qwen2.5-14B 的 rollout 为 Qwen2.5-7B 选择修复，在 ALFWorld 损失 0.25、WebShop 损失 0.07；每个候选 20 次 14B rollout 的价值不超过 7B 智能体自身的 2 次 rollout，且新 rollout 确认两模型在分歧案例上偏好相反的修复。
3. 不同家族的相近规模模型之间，两个环境均出现双向损失（0.07–0.17）；打分执行者还会改变修复位置标签与方法排名。作者建议用实际执行修复的智能体验证修复，并让修复标签注明其执行者。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。