RAGLog：无需参考答案的RAG故障定位

RAGLog仅用执行日志即可定位RAG各阶段故障。

资讯摘要

论文提出RAGLog，利用执行日志在RAG流水线各阶段检测并定位故障，无需参考答案或代码插桩。作者将异构API日志转为统一RAG模式，结合规则、嵌入与LLM检查识别故障阶段，并发布含3,134次运行、带阶段级故障标签的RAGLog Faults数据集。作者报告使用Claude Haiku 5.5时，自然故障运行上合并F1为0.73，高于Claude Code的0.58和Codex的0.52；注入故障运行上为0.84。

要点速读

1. RAGLog将异构API日志转换为统一RAG模式，结合规则、嵌入和LLM检查定位故障阶段。
2. 作者发布RAGLog Faults数据集，含五个RAG流水线的3,134次运行及阶段级故障标签。
3. 作者报告自然故障运行F1为0.73，优于Claude Code的0.58和Codex的0.52；单次分析约5秒、成本0.005美元。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。