新基准CTBench显示智能体电信根因分析能力明显不足。
资讯摘要
论文提出CTBench，一个公开基准，用于评估AI智能体在电信网络根因分析（RCA）与路径恢复中的故障排查能力。该基准由领域专家构建，包含丰富元数据与黄金证据轨迹，指标同时考察最终准确率与诊断推理。作者报告，现有先进智能体在路径端点识别上表现良好，但在RCA上明显不足；即使答案正确，也常未收集运维实践所需的诊断证据，且增加计算开销并不保证诊断能力提升。
要点速读
- CTBench由领域专家构建，含丰富元数据与黄金证据轨迹，评估RCA和路径恢复。
- 作者报告先进智能体擅长路径端点识别，但在根因分析上表现很差。
- 智能体即使给出正确答案，也常未收集运维实践所需的诊断证据；增加计算开销不保证诊断能力提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。