回到最新动态
研究论文 / THE SIGNAL

决策语言模型Jev可低成本替代LLM临床评审

Decision language models as affordable and rapid alternatives to LLM judges of clinical generative AI

重要性 5.5 AI 辅助整理

决策语言模型Jev在临床评审中一致性接近LLM评审且成本更低。

资讯摘要

论文比较了返回结构化判断的决策语言模型Jev与前沿及开放权重LLM评审在四个临床用例中的表现。在118份儿科回答上,Jev与医生序数质量评分的一致性(Gwet's AC2 0.50)达到或超过12个LLM评审中的7个,包括Claude Opus 5.5和GPT-6。作者报告前沿评审成本为Jev的73至294倍、耗时7至57倍。

要点速读

  1. 在118份儿科回答上,Jev与医生序数评分的一致性为Gwet's AC2 0.50,达到或超过12个LLM评审中的7个。
  2. 在HealthBench Professional上,Jev在91%的标准上与参考评审GPT-5.4一致,其他评审为91%至93%。
  3. 作者报告前沿LLM评审的成本是Jev的73至294倍,耗时是7至57倍。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开