智能体基准的oracle缺陷可使成功率虚高约29个百分点。
资讯摘要
论文对LLM智能体评测框架进行缺陷审计，提出五项状态完整性不变量和三项已知答案控制，并注入七类oracle缺陷。作者报告在某广泛使用的智能体基准上发现奖励函数重置数据库后未恢复，导致后续评分读取参考解状态：记录标签为4,320个回合中4,194次数据库通过，重放为2,883次，成功率从94.3%降至65.5%，且修正后各智能体排名发生变化。
要点速读
- 论文提出oracle完整性审计方法，在57个可分离变体-目标组合中检出54个，修复后无误报。
- 作者报告某基准的奖励函数重置数据库后未恢复，使成功率由94.3%降至65.5%，并改变最强智能体的判定。
- 该方法未能迁移到第二个独立实现的基准，作者说明了所需的契约条件。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。