RECITE 用方案修订文件构建数据集并评测 LLM 修订入组标准。
资讯摘要
论文提出 RECITE 框架，用于自动发现、提取并落实有证据支持的临床试验入组标准修订。作者利用 ClinicalTrials.gov 的方案修订文件构建了覆盖 5,735 项试验、11,913 条实例的数据集，并在 3,116 条样本上评测 15 种 LLM 配置；在经十位领域专家验证的 LLM-as-judge 协议下，Gemma 2 9B 与 GPT-4o 的序数得分均为 3.0。
要点速读
- 数据集含 5,735 项试验的 11,913 条实例，每条配对原始标准、文献证据与目标修订。
- 在 3,116 条样本上评测 15 种 LLM 配置，涵盖截断至上下文窗口与检索增强生成两种条件。
- LLM-as-judge 与专家一致性 κ_qw=0.694±0.096；Gemma 2 9B 与 GPT-4o 序数得分均为 3.0（0–4 分制）。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。