论文发现NLI与LLM保守融合反而降低论断验证性能。
资讯摘要
论文构建了来自SciFact和CliniFact的2035条论断基准，用语义与BM25混合检索取每条论断最相关的前五句，再比较DeBERTa-v3 NLI基线与Llama 3.1 8B、Qwen3 8B、Mistral 7B。作者报告Qwen3的Macro-F1最高为0.7937，NLI基线仅0.3157；其保守融合规则反而使三者性能下降，错误分析显示分歧常导致LLM正确判断被推翻。
要点速读
- 基准含2035条论断：858条支持、152条矛盾、1025条证据不足；混合检索略优于单一方法。
- Qwen3 8B的Macro-F1为0.7937，Llama 3.1 8B为0.7204，Mistral 7B为0.6388，NLI基线为0.3157。
- 仅在NLI与LLM一致时判为支持或矛盾的融合规则使Macro-F1降至0.7392、0.6730、0.5991。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。