生物医学论断核查智能体的框架消融研究

检索而非推理是生物医学论断核查的主要瓶颈。

资讯摘要

论文在 SciFact 生物医学论断核查任务上，以实时 PubMed API 为唯一工具，固定骨干模型与输出格式，对比闭卷作答、单次检索、ReAct 式自写查询智能体和给定金标准摘要四种框架。作者报告：单次检索仅 6% 找到金标准论文；自写查询使金标准召回率提升三倍，准确率 62%，但样本量下差异不显著；给定金标准摘要时准确率达 79–86%，显示检索而非推理是主要瓶颈。引用审计发现闭卷模型给出的 PMID 几乎都存在但极少相关。

要点速读

1. 单次检索仅对 6% 的论断找到金标准论文，且未提升准确率，只是把过度自信的错误转为弃答。
2. 自写 PubMed 查询的 ReAct 智能体金标准召回率提升三倍，准确率 62%，优于其他现实框架的 49–59%，但作者称样本量下差异不显著。
3. 给定金标准摘要后同一模型准确率达 79–86%，比检索框架高 17–24 个百分点；引用审计中闭卷模型 335 个 PMID 有 327 个存在，但 LLM 评审仅判 3 个相关。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。