Signals 从智能体轨迹诊断问题，匹配 F1 达 91.43%。
资讯摘要
论文提出 Signals，一种从智能体执行轨迹中识别问题并给出修复建议的诊断方法。作者基于覆盖八大类、45 种问题类型的分类体系，区分已发生的失败、风险暴露与低效，将相关发现归并为工程问题并评估严重度，每条 Signal 附带可执行动作与验证检查。在公开智能体执行数据上，Signal 与参考问题匹配的 F1 为 91.43%，比使用同一模型和分类体系的单次 LLM 对照高约 18 个百分点。
要点速读
- 论文构建了覆盖八大类、45 种问题类型的分类体系，并为每类定义证据要求。
- 方法区分已发生的失败、风险暴露和低效，将相关发现归并为 Signal 并评估严重度。
- 在公开智能体执行数据上，Signal 与参考问题匹配的 F1 为 91.43%，比单次 LLM 对照高约 18 个百分点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。