CLadder高分可能源于表层模式而非因果推理
资讯摘要
一篇论文考察CLadder这一程序化生成的因果推理基准能可靠推断出什么。作者发现生成器在数据集中嵌入了表层且高度可预测的模式，随机森林等简单模型在训练生成样本后也能表现良好；许多商业LLM在CLadder测试集上的表现极不稳定，删除对形式因果推理关键的文本段落几乎不影响成绩。作者认为，LLM高分最可能的解释是利用了从生成器训练数据中学到的表层模式，任何关于LLM具备更复杂因果推理的推断都须排除这一假设。
要点速读
- 论文指出CLadder生成器在数据集中嵌入表层且高度可预测的模式
- 随机森林等简单模型在训练生成数据样本后也能在CLadder数据集上表现良好
- 许多商业LLM在CLadder测试集上表现脆弱，删除关键文本几乎不影响性能
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。