NLI标签变异研究：选择偏差影响单调性结论

未筛选样本中单调性边界效应消失，提示选择偏差影响结论。

资讯摘要

论文复现了Choi（2026）关于NLI中人类标签变异（HLV）的研究，在ChaosNLI未筛选的SNLI与MultiNLI开发集上检验非向上单调性算子与标签一致性关系。作者报告，预先注册的预测未成立：七个对比的Cliff's delta均为正，唯一显著的验证性对比方向与预期相反，且所有效应远低于最小关注效应量0.10。稳健性检验显示模拟标注错误会缩小而非制造效应，人工重标注四类一致率为0.875。论文认为此前的负向边界可能是低一致性筛选下的结构，而非总体属性。

要点速读

1. 在未筛选的SNLI与MultiNLI开发集上，七个对比的Cliff's delta均为正，即含非向上单调性算子的样本标签一致性略高而非略低。
2. 唯一显著的验证性对比方向与预先注册的预测相反，所有效应均远低于0.10的最小关注效应量。
3. 模拟标注错误会缩小效应而非制造效应；人工重标注在200条新样本上四类一致率为0.875。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。