语言模型能判断有说服力的科学证据吗？

新基准 EDB-Bio 显示语言模型评估科学证据时普遍信心不足。

资讯摘要

论文提出 EDB-Bio 基准，从药物扰动转录组学、CRISPR 筛选和人类 GWAS 三个生物学领域的真实数据构建 9.6 万个推理片段，要求模型根据已发表实验结果预测目标假设为真的概率。作者报告，现有开源与前沿模型普遍系统性信心不足，Brier 分数仅与简单基率预测器相当；按严格适当评分规则做后训练可显著改善校准与区分能力，其 Ibis0 模型在序贯实验选择任务中效率为最佳前沿模型的 2.5 倍。论文称将公开代码、数据与训练模型。

要点速读

1. EDB-Bio 含 9.6 万个片段，覆盖药物扰动转录组学、CRISPR 筛选与人类 GWAS 三个领域。
2. 作者报告现有模型系统性信心不足，Brier 分数与简单基率预测器相当。
3. 按严格适当评分规则后训练可改善校准与区分能力，Ibis0 在序贯实验选择中效率为最佳前沿模型的 2.5 倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。