仅看结果的LLM评审会高估对智能体轨迹的检测能力
资讯摘要
论文提出trajectory-judge测试方法，向正确轨迹注入故障，用配对判别（对故障轨迹与对应干净轨迹的标记率之差）衡量LLM评审的真实检测能力。在确定性客服测试台中，仅看请求与最终回复的14B评审对四类不改变回复的故障召回率为34%至76%，但配对判别为零；按结果是否被破坏分组也无法修正。要求逐步检查后，该模型能标出这四类全部故障且100条干净轨迹零误报，但对回复中虚构承诺的检查不可靠。作者建议报告配对判别并公开测试台与分析流程。
要点速读
- 论文指出，仅看结果的评审在回复未变的故障上召回率看似不低，但配对判别为零，说明其检测能力被高估。
- 按故障是否破坏环境结果分组不能解决问题：loud召回84%对应配对+0.393，silent召回45%对应配对+0.048。
- 要求逐步检查后，同一14B模型标出四类故障全部、100条干净轨迹零误报，但对回复中虚构承诺的检查不可靠。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。