LLM数据代理的追踪完整性审计

论文提出追踪完整性指标，发现正确答案常伴随无效计算追踪

资讯摘要

论文提出“结构鸿沟”概念，指自然语言意图与满足该意图所需的算子级计算之间的不匹配，并定义“追踪完整性”作为可靠性标准，要求支撑答案的计算显式、可执行、符合模式、忠实于算子、可重放、与答案一致且可审计。作者通过执行契约记录模式元素、算子计划、假设、可执行查询、验证状态与最终答案关联，并提出CAIT率衡量答案正确但追踪校验失败的比例。在100个BIRD Mini-Dev文本转SQL样例上，三种提示条件的答案准确率为20.0%、22.0%、24.0%，追踪完整性通过率为39.0%、43.0%、40.0%，CAIT率为55.0%、59.1%、45.8%。

要点速读

1. 论文定义“结构鸿沟”与“追踪完整性”，并提出执行契约记录计算过程
2. 提出CAIT率，衡量答案正确但追踪校验失败的比例
3. 在100个BIRD Mini-Dev样例上，三种提示条件的答案准确率为20.0%、22.0%、24.0%，追踪完整性通过率为39.0%、43.0%、40.0%，CAIT率为55.0%、59.1%、45.8%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。