决策模型作为幻觉检测评判者

决策模型可低成本检测部分幻觉类型，但需先验证。

资讯摘要

论文测试用决策模型替代LLM-as-a-Judge做幻觉检测：构建覆盖五类幻觉的二元基准（六个数据集共9,852条），比较五个决策模型与生成式评判模型gpt-6-sol。结果显示性能高度依赖幻觉类型：最佳决策模型在上下文不一致上与gpt-6-sol平衡准确率持平，事实错误差距3个百分点，逻辑与指令不一致落后4-8个百分点。决策模型概率过度自信但轻于GPT-6系列，区分正确与错误决策的能力仅中等。作者报告决策模型置信级联在三种类型上比最佳单模型提升1.9-3.3个百分点，并以1-3%成本达到或超过gpt-6-sol。

要点速读

1. 论文构建五类幻觉的二元基准，共9,852条，来自六个数据集，对比五个决策模型与gpt-6-sol。
2. 最佳决策模型在上下文不一致上与gpt-6-sol持平，事实错误差3个百分点，逻辑和指令不一致落后4-8个百分点。
3. 决策模型概率过度自信，置信级联在三种类型上提升1.9-3.3个百分点，成本为gpt-6-sol的1-3%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。