论文用回放反馈训练LLM裁判，替代不可靠的即时得分奖励。
资讯摘要
论文指出策略游戏中存在“记分板陷阱”：在八款策略游戏中，8%至68%的局面配对里，当前得分更高的局面反而导致更差结局。作者构建CivHarness，可保存Freeciv游戏状态、分支决策并回放至未来回合，以提供可测量的长周期反馈；据此训练LLM裁判CivTelescope，预测两个局面中哪个结局更好。在陷阱配对上，其准确率为现成语言模型的1.3至2.0倍，并能泛化到新开局、后期回合与未见规则。以CivTelescope作稠密奖励训练Freeciv智能体CivMarshmallow，在陷阱多发的游戏中期平均训练阶段增益8.94分，比最佳基线（终局奖励）高77%。
要点速读
- 论文提出“记分板陷阱”：八款策略游戏中，8%至68%的局面配对里高分局面反而结局更差。
- CivHarness支持保存状态、分支决策并回放未来回合；CivTelescope在陷阱配对上准确率为现成模型的1.3至2.0倍。
- CivMarshmallow在游戏中期平均训练阶段增益8.94分，比终局奖励基线高77%；全程采用混合奖励得分最高。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。