论文用国际象棋发现大模型在先验稀疏时泛化明显退化。
资讯摘要
一篇论文以国际象棋为受控测试平台，按相关先验密度构建局面分类，无需知晓训练数据即可区分记忆与泛化。作者对GPT系列做纵向分析并评测Claude Opus、Gemini等模型，发现先验越稀疏性能越差：先验极少时基础模型回落到随机走子水平，各模型提出非法着法的比例明显上升；推理增强可提升表现，但每个token的边际收益随先验减少而下降。
要点速读
- 论文提出以国际象棋构建按先验密度分级的局面分类，无需显式了解模型训练数据即可区分记忆与泛化。
- 作者报告先验稀疏时基础模型性能回落到随机走子基线，所有模型提出非法着法的比例明显上升。
- 推理增强推理能提升表现，但缺少相关先验时每token的相对边际收益下降。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。