重新审视LLM事实核查器的评估

新日语基准揭示LLM事实核查评分受评估条件影响

资讯摘要

论文指出，LLM事实核查的评分取决于三个设计决策：待核查声明对应哪些问题、在何种条件下判定每条声明、哪些来源算作证据，而现有基准未同时明确这三点。作者提出JSFactCheckBench，一个日语基准，包含来自LLM回答日本社交媒体误导信息的1,913条声明，每条按参考时间标注事实性及对问题的重要性，证据取自预选网页来源。在六个LLM上，直接回答问题的声明核查准确率低于补充声明，且来源更长或更多时分数下降。

要点速读

1. 论文提出JSFactCheckBench日语基准，含1,913条声明，每条标注参考时间的事实性与对问题的重要性，证据来自预选网页来源。
2. 作者报告：六个LLM核查直接回答问题的声明时，准确率均低于补充声明，聚合分数掩盖了这一差距。
3. 作者报告：需在更长或多个来源中定位相关内容时分数下降；四个开源模型在加入上下文问题与回答后分数也下降。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。