轨迹自动标签可能与轨迹证据不符，需附测量透明度信息。
资讯摘要
论文研究智能体执行轨迹的自动标签是否忠实反映轨迹内容。作者在基于 GSM8K 的工具调用场景中审计三个轨迹级检测器，覆盖六个生产模型、每模型 30 道题，发现最终正确性、可见复验与故障传播之间存在系统性分歧，并提出“静默工具输出覆盖”失败模式。人工复核 90 条轨迹在复验标签上与自动标签有 14 处分歧；执行步数与 token 预算变化也会改变报告结果。
要点速读
- 论文在 GSM8K 工具调用场景中审计三个轨迹级检测器，覆盖六个生产模型、每模型 30 道题。
- 作者报告最终正确性、可见复验与故障传播标签存在系统性分歧，并提出“静默工具输出覆盖”失败模式。
- 人工复核 90 条轨迹：最终正确性 67/67、故障影响 19/19、故障相关性 18/18 与自动标签一致，复验仅 67/81；执行限制变化可使一个模型正确数在 21/30 至 27/30 间波动。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。