决策模型能否替代LLM判断知识冲突类型

决策模型分类冲突类型接近LLM，成本与延迟更低。

资讯摘要

论文研究在RAG中判断检索来源冲突类型时，能否用单次前向返回固定选项概率的决策模型替代生成式LLM。作者使用CONFLICTS基准和原文提示词，评测单一商业推理网关上的11个决策模型（来自7家提供商），并与Gemini模型在相同输入下对比。结果显示决策模型直接作答准确率为50.0%–67.0%，其中10个达到或超过Gemini 2.5 Flash的61.3%，计费成本低4–39倍、延迟低2.6–6.0倍。

要点速读

1. 11个决策模型直接分类准确率50.0%–67.0%，10个达到或超过Gemini 2.5 Flash的61.3%，成本低4–39倍、延迟低2.6–6.0倍。
2. 当前Gemini 3.8 Flash准确率70.0%，显著高于其中8个决策模型；将每个决策模型最不确定的四分之一查询转交Gemini 3.8 Flash后，11个中有8个与其统计上持平，成本为其25%–37%。
3. 将冲突分类拆成是/否问题会降低所有模型准确率，且在一个模型上拟合的修复不能迁移；日期无 measurable 作用，模型对来源顺序的敏感度差异较大。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。