切片性能差距会随评测契约变化，甚至导致方法排序反转。
资讯摘要
论文指出，NLP 评测中常被当作能力证据的切片性能差距（如文档级关系抽取的 intra-inter gap），实际是模型与评测契约的共同产物，契约包括打分函数、金标准版本、阈值、输出格式和提示语言。作者在预测冻结的情况下，仅交换金标准就使方法排序反转（+0.0363，置信区间不含零），并据此提出以排名翻转条件为核心的评测杠杆框架及审计式评测读数 AER，覆盖 DocRE、HacRED、UD 探针等测试。
要点速读
- 预测冻结时，更换金标准版本可使方法排序反转（+0.0363，CI 不含零）；重命名属规范变换（Δ=0），重新标注为 +0.862。
- 论文提出审计式评测读数 AER：契约边缘化、声明并列、规定种子、门控过滤，在声明的 WMT19 网格上覆盖全部契约引发的翻转（14/14）。
- 作者发布预注册工作流 EvalLever 及修订记录；在 LLM-as-judge 网格上，审计集成使 13–15 个不稳定对归零，但预注册的相关性判据未通过。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。