评估智能体监控器应看恢复机会与决策价值，而非分类准确率。
资讯摘要
论文指出，仅凭分类准确率和真阳性、假阳性率无法判断重启AI智能体能否提升成功率。作者提出决策充分性准则和有限样本、无模型的决策审计方法，并在SWE-bench Verified的19个SymPy问题上评估194次模型执行、回溯审计130条轨迹，发现初始2.29个百分点的重启增益仅来自一次失败尝试，另一模型上出现42.29个百分点损失，103次实时比较无一达到认证标准。
要点速读
- 论文提出决策充分性准则，用于判断进度表示或上下文压缩是否保留最优决策所需信息
- 论文提出基于现有轨迹二项区间的决策审计，无需额外模型调用，证据不足时返回弃权
- 在SWE-bench Verified的19个SymPy问题上评估194次执行，初始增益未在前瞻任务队列中复现
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。