ReplayRCA：用反事实重放评测智能体故障诊断

新基准用反事实重放干预评分智能体故障诊断，事后诊断强不等于实时监督强。

资讯摘要

论文提出 ReplayRCA 基准，用干预而非与标注一致来评分智能体故障诊断：将环境恢复到所选步骤之前，用诊断模型给出的动作替换原动作，让同一智能体继续执行，以“因果修复”分数衡量。基准含事后复盘与实时监督两条赛道，任务来自确定性程序生成的 OpsWorld 环境。作者报告在 62 个系统性失败上，13 个前沿模型中最好的 Grok 4.7 达 +51.3 分，前八名统计上难以区分，5 个样本无模型能修复。

要点速读

1. 评分方式为因果修复：恢复状态、替换动作后由同一智能体继续，并与重放原动作的安慰剂对照相减。
2. 两条赛道分别为事后复盘（看到完整失败轨迹）与实时监督（不知是否会失败，可在不可逆动作前干预一次）。
3. 作者报告 62 个校准失败上最佳模型 Grok 4.7 为 +51.3 分，前八名统计不可区分，5 项无模型修复；87 次运行中最佳实时监督者之一为小开源权重模型 DeepSeek V4.1 Flash，而事后诊断较强的 GPT-6.1 Sol 在实时监督中最弱（-14.5 分，p=0.002）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。