审计Text-to-SQL置信度分数：BIRD与Spider实验

审计发现设计置信度分数区分力弱，预注册规则可提升AUROC。

资讯摘要

论文审计一套生产级Text-to-SQL系统的置信度分数设计。在BIRD dev的1534个问题上，GPT-5.1每题五次采样，设计分数区分对错能力较弱（AUROC 0.624），并误扣35.7%的正确答案；排序信号主要来自样本间一致性。作者在Spider上预注册并冻结新规则，AUROC从0.566升至0.725，PASS准确率95.7%。

要点速读

1. BIRD dev上设计分数AUROC为0.624，并扣留35.7%的正确答案，信号主要来自样本一致性。
2. Spider dev上冻结规则使AUROC从0.566升至0.725（+0.159，95% CI +0.097至+0.221），PASS准确率95.7%，基线92.6%。
3. 评审后补充：GPT-5.1自评P(correct)与一致性平均后Spider AUROC达0.837，但属自评且执行匹配标签下增益缩小；标签为模型判定，仅十题人工试点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。