整理本体作检查器误报多，真实回答上仅略优于随机。
资讯摘要
论文研究以知识图谱本体作为LLM智能体答案检查器的可靠性，比较人工整理、LLM生成与数据推导三类本体，在提示上下文、检查器或两者兼用等设置下，覆盖开放权重与专有模型、公开图谱及近10⁹三元组的私有图谱。作者报告各来源在捕获错误与误报之间的权衡，指出整理本体可能与其自身数据矛盾，并发现UniProt上整理本体标记的正确回答多于另两类，但在真实智能体回答上其标记仅略优于随机。
要点速读
- 论文将检查器本身作为研究对象，比较人工整理、LLM生成和数据推导三类本体在提示上下文、检查器或两者兼用下的表现。
- 实验覆盖开放权重与专有智能体、公开知识图谱及近10⁹三元组的私有图谱。
- 作者报告：在UniProt上整理本体标记的正确回答多于数据推导或LLM生成的本体，但在真实智能体回答上其标记仅略优于随机。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。