前沿语言模型的概率判断是否满足全概率公式？

论文发现前沿模型在潜在变量推理上概率判断常不满足全概率公式。

资讯摘要

论文考察当前前沿语言模型在零样本条件下，其概率判断是否满足全概率公式 P(X)=∑_z P(z)P(X|z)，其中潜在变量 z 需从上下文记录中推断。研究在单轮调用中分别询问 P(X)、P(z) 与 P(X|z)，并对因果情形检验 P(y|do(x)) 与后门调整；每道题都有精确真值，部分题目用三种措辞提问以区分持续不一致与措辞噪声。作者报告七个模型中 GPT-6.1 Sol 与 Claude Opus 5.5 最一致，平均绝对残差约 0.08 与 0.12 log-odds；Claude Haiku 5.5、Gemini 3.8 Flash 与 DeepSeek V4-Pro 存在持续不一致。

要点速读

1. 论文在零样本单轮调用中检验模型概率判断是否满足全概率公式，并扩展到 do(x) 与后门调整的因果版本。
2. 作者报告 GPT-6.1 Sol 与 Claude Opus 5.5 平均绝对残差最小（0.08、0.12 log-odds），Claude Haiku 5.5、Gemini 3.8 Flash、DeepSeek V4-Pro 为 0.27–0.35 log-odds 的持续不一致。
3. 论文称各模型内残差越大、对真值误差越大（Spearman 0.40–0.62），推理长度不预测一致性，简单一致性检查几乎都通过。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。