医学多选题基准：决策模型与生成式大模型对比

决策模型资源占优但峰值准确率低于生成式大模型。

资讯摘要

论文在纯文本条件下用1273道四选项MedQA题，比较13个决策模型与15种生成式大模型配置（含不同推理设置）。决策模型准确率67.71%–89.08%，生成式配置78.32%–96.86%。作者报告Mercury Decide平均最终尝试成本最低（每千题0.0069美元），Clef Omni请求中位时长最短（0.291秒）；决策模型概率可区分对错，但高置信（≥0.90）答案错误率1.71%–12.77%，三次运行答案一致率92.30%–100%。

要点速读

1. 测试集为1273道四选项MedQA题，纯文本条件，对比13个决策模型与15种生成式大模型配置。
2. 决策模型准确率67.71%–89.08%，生成式配置78.32%–96.86%；Mercury Decide每千题平均最终尝试成本0.0069美元，Clef Omni请求中位时长0.291秒。
3. 概率≥0.90的答案错误率1.71%–12.77%，三次运行答案一致率92.30%–100%，概率可重复性存在差异。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。