新基准STRATA逐项评估临床时间假设检验的证据选择与统计决策。
资讯摘要
论文提出STRATA基准，针对疫苗不良事件报告中的临床时间线，构建8,735条时间假设，并用已发布代码本和确定性oracle生成金标准计划、证据集、p值与结论，逐项评估模型在零假设设定、检验选择和记录筛选上的决策。作者还提出ART分阶段范式，将各决策暴露为可检查输出；实验显示模型主要失误在选取相关记录，ART缩小了结论与证据间的差距。
要点速读
- STRATA包含8,735条基于疫苗不良事件报告临床时间线的时间假设，金标准由代码本和确定性oracle复现。
- 基准不只评结论，还评零假设、检验选择与证据记录筛选等中间决策。
- 作者提出ART（articulate, retrieve, test）范式，五种模型配置实验显示主要失败点在记录选择，ART使31B开源模型在相同范式下与前沿模型差距缩小至0.01。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。