RL后模型更依赖提示明示信息而非高层策略概念。
资讯摘要
论文在井字棋这一有限逻辑域中，用GRPO对小型LLM做强化学习，并追踪内部表征变化。作者报告RL后模型在多种提示下准确率与稳健性较高，但稀疏自编码器分析显示模型主要更依赖提示中已明示的信息，如轮到谁、棋局进程与棋盘占用，而对称性、叉位等高层概念表征较弱。
要点速读
- 论文以井字棋为可穷尽分析的逻辑域，用GRPO训练并追踪表征动态。
- SAE特征显示模型更依赖提示中明示的回合、进程与占用信息，对称性和策略叉位表征弱。
- 作者称RL后训练不增删概念信息，而是重组主导特征，因果干预将决策定位在较晚层状态。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。