论文提出FactForm评分器，减少开放式问答评估中的标签偏差。
资讯摘要
论文发现，校准规则的选择会随正确性标签变化而翻转：在141条试点答案上，用精确匹配标签选出的规则比原始置信度好0.239 Brier分，但在人工标签下反而差0.103。作者归因于参考匹配漏判大量正确答案（精确匹配漏判42%），并提出FactForm评分器：信任参考匹配，否则依据仅从问题检索的证据，每条答案一次LLM调用填写固定顺序的封闭表单，由程序打分。在998条EVOUNA答案与400条人工事实标签上，其平衡错误为0.077、AUROC为0.985，优于八种传统评分器中最好的0.112与0.930。
要点速读
- 论文报告：141条试点答案上，精确匹配标签选出的校准规则比原始置信度好0.239 Brier分，人工标签下却差0.103。
- 作者指出精确匹配漏判42%的正确答案，导致偏好给这类答案低置信度的规则。
- FactForm在998条EVOUNA答案、400条人工标签上平衡错误0.077、AUROC 0.985，八种传统评分器最佳为0.112与0.930。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。