法律问答基准需跟踪法条日期,用对文本后模型仍有明显差距。
资讯摘要
论文提出NitiBench+,一个覆盖17个领域、含1670道题的泰国法律问答基准,题目取自三家法院判决,并为每个被引条文同时保留判决日生效文本与现行文本。作者检查156650份判决发现,最高67%引用了此后被修订或废止的法律。报告第一部分在13个开放权重模型上测量用错文本的代价,第二部分在现行法文本下评测26个模型并设公开排行榜。
要点速读
- 基准含1670道题、覆盖17个领域,检索语料收录泰国法条各日期版本。
- 作者报告:读现行修订文本使Bar标准分下降0.25,缺失已废止法律下降0.79;惩罚主要来自规则变化(428道规则变更题降0.45,331道仅措辞变化题无影响),Citation F1未能反映该差异。
- 排行榜在500题分层测试集上评测26个模型,最佳模型得7.78/10,最佳开放权重模型6.39;无搜索工具时仅5个开放权重模型能召回泰国法律,有工具时26个模型中20个提升、6个下降。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。