norregel：挪威法律中带日期数值的预注册基准

挪威法律数值基准显示模型过时答案与截止日期相关，但结论不稳健。

资讯摘要

论文提出 norregel 基准，考察语言模型对挪威法律条文中带日期数值（挪威克朗金额、百分比、G 倍数、年龄限制）的回答。916 个条目从 Lovdata 开放数据机械抽取，并附条文历史，答案可分为正确、过时、错误或无法解释。第二次预注册运行分析八个模型，合并主检验支持 H1（d=17.8 个百分点），但作者认为该支持不稳健。

要点速读

1. 916 个条目从 Lovdata 开放数据机械抽取，每个条目带有条文的历史日期信息，答案可归类为正确、过时、错误或无法解释。
2. 第一次运行中，Opus 5.5 和 Sonnet 4.6 在 880 个主要条目上的正确率分别为 46.7% 和 40.2%；H1 无法实质检验，H2、H3 无定论。
3. 第二次运行在调用前预注册并公开，八个模型参与；合并主检验支持 H1（d=17.8 个百分点，95% 区间 [7.7, 28.9]，p=0.0001），但敏感性分析 S8 的区间包含 0，作者不认为支持稳健。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。