新基准显示模型复现法律专家标注时类别间差异明显。
资讯摘要
论文提出 AnnoCaseLaw 基准，包含 471 份美国民事过失法院意见书，由专家在五类标注类别下给出逾 1.2 万处高亮标注。作者用专有前沿模型、开放权重模型、法律专用模型和决策模型复现这些标注，发现模型在事实与结果两类上表现更好，在法律适用、程序历史和相关先例上较弱；在法律适用上，专有前沿模型的推理覆盖与精确度平衡最佳，Gemma 4 以更低估算推理成本取得相近 Macro-F1。
要点速读
- 基准含 471 份美国民事过失意见书、超 1.2 万处专家高亮，覆盖五类标注。
- 模型在事实与结果上优于法律适用、程序历史和相关先例。
- 法律适用类别中，Gemma 4 的 Macro-F1 与专有前沿模型相近，估算推理成本更低。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。