思维链忠实度评估中的正确性条件化选择

仅评估答对样本会改变思维链忠实度的测量对象。

资讯摘要

论文研究思维链忠实度评估中仅保留回答正确样本这一筛选步骤，在七变量结构因果模型中推导出观测差距 Δ = Cov(A, C)/P(C=1)，区分难度混杂与捷径引发的对撞偏倚。作者回顾18篇论文的评估协议，并在算术任务上评估四个未达上限的部署，均观察到正的选择差距；GLM-5.3 主实验差距为 +7.4 个百分点（n=1000，p<0.0001），合并 CMH 分析 OR=1.70。

要点速读

1. 论文提出选择差距公式 Δ = Cov(A, C)/P(C=1)，并区分难度混杂与捷径导致的对撞偏倚。
2. GLM-5.3 主实验观察到 +7.4 个百分点差距（n=1000，p<0.0001），合并 Cochran-Mantel-Haenszel 分析 OR=1.70（p<10⁻⁶）。
3. 无假设协方差分解将 GLM-5.3 差距的 42.8% 归于可干预操作数的层间差异，其余大部分未归因。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。