澳临床政策基准显示模型多因不熟悉本地规则而错
资讯摘要
论文提出 AusClinBench，依据澳大利亚指南与目录编写 142 道题，覆盖 PBS 授权、MBS 计费、Ahpra 义务、分诊红旗、免疫与筛查五域，每题仅一个可核验答案并按精确匹配计分。2026 年 7 至 10 月测试 28 个模型，盲测准确率 51.5%–92.7%，最高分模型间无法区分；791 个失败问答对中 684 个（86%）在提供条款后答对。作者建议将模型视为临床产品的成分，并设定本地规则最低标准。
要点速读
- 142 道题来自澳大利亚指南与目录，五域各设唯一可核验答案，按精确匹配计分
- 28 个模型盲测准确率 51.5%–92.7%，最高分模型无法区分；自信错误率 6.6%–47.8%
- 791 个失败问答对中 684 个（86%）盲测答错、提供条款后答对；5 道无指令免疫题中 82% 的答案自行给出指令
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。