论文称前沿模型在规则明确的回溯国际象棋任务中仍频繁推理失败。
资讯摘要
论文提出 RetroChessBench，一个包含 12 项任务的回溯国际象棋基准，覆盖精确长度构造、唯一终局与穷举答案集，并提供参考答案、评分标准和终端奖励环境。作者报告，GPT 6 Astra High 在每项任务两种条件下各试两次：无工具时 24 次尝试中有 22 次未给出要求的最终答案，使用代码执行时为 18/24；平均终端强化学习奖励分别为 14.75% 和 27.19%。论文将错误归因于错误推理，并假设训练数据缺少详细推导。
要点速读
- 基准含 12 项任务，覆盖精确长度构造、唯一终局和穷举答案集，配有参考答案、评分标准与终端奖励环境。
- 作者报告 GPT 6 Astra High 无工具时 24 次尝试中 22 次未给出最终答案，使用代码执行时为 18/24。
- 平均终端强化学习奖励分别为 14.75% 和 27.19%；论文指出模型会拒绝合法历史、把暂时阻碍当作永久阻碍。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。