金融问答中的类型感知幻觉检测

按幻觉类型评估可暴露聚合指标掩盖的检测器弱点。

资讯摘要

论文在基于SEC文件的长上下文基准PHANTOM上，按幻觉类型分析金融问答中的幻觉检测。作者先分析15,443对幻觉与忠实答案，发现幻觉答案长度超过忠实答案两倍；随后生成九类金融动机幻觉并逐条验证，在4,086个可用样本上诊断LLM检测器：二分类准确率80.2%，子类型准确率仅44.7%，九类中有两类从未被分配，漏检率5.3%至46.8%。据此提出两阶段分层检测器，二分类准确率升至95.6%，子类型准确率升至56.1%。

要点速读

1. 论文分析15,443对幻觉与忠实答案，发现幻觉答案长度是忠实答案的两倍以上。
2. 在4,086个样本上，LLM检测器二分类准确率80.2%、子类型准确率44.7%，漏检率随答案偏离正确程度上升。
3. 论文提出的两阶段分层检测器将二分类准确率提至95.6%、子类型准确率提至56.1%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。