Agent排行榜的评测代码本身会静默出错并改变排名。
资讯摘要
论文审计HAL与tau2-bench两个公开Agent排行榜的已发布产物，发现评测基础设施存在静默错误：通用Agent因对话结束方式未触发评分，约半数任务被记为失败；成本列重复计算嵌套模型调用；存档轨迹把评分器动作记为Agent动作；换用新评测器重评本身构成新测量，某模式检查误读四个文件使分数下降59至82分且不报错。作者提出报告已评分比例、按根跨度汇总成本、标注动作来源、固定评测器版本等低成本检查。
要点速读
- 通用Agent在涉及数据库的任务上落后专用脚手架13分，差距源于约半数对话未被评分而记为失败，按基准规则补评后差距消失。
- 成本列对嵌套模型调用重复计数且各行不一致；存档轨迹把评分器写入的动作记为Agent动作。
- HAL维护者在五周内确认了其中三处错误；作者认为评测流水线本身是测量的一部分，会静默失效。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。