失败记录会让小模型更易重复失败动作，省略动作字符串可避免。
资讯摘要
论文在Sokoban、四子棋和黑白棋中检验工具调用式失败记录对LLM玩家的影响：把失败动作与报错写入对话记录后，8个指令微调模型（135M–1.7B）整体更倾向重复该动作，纠正增益G为-1.38 nats/token，且主要通过动作的表面形式起作用，对非法动作明显、对合法但致败的动作不明显，也并非所有模型都如此。作者报告，省略动作字符串的失败描述可保留模型原有偏好；OLMo 2 1B后训练链中该反转在基座模型已存在、DPO阶段基本消失。
要点速读
- 在固定探针项上，失败记录使8个指令微调模型整体更可能重复失败动作（G=-1.38 nats/token），效应集中于非法动作而非致败动作。
- 失败描述若不包含动作字符串，模型偏好得以保留；"不要重复"指令无效，干净重试的测试框架表现最差。
- OLMo 2 1B后训练链中，该反转在基座模型已出现、DPO阶段基本消除；RAGEN默认模型在其Sokoban格式中、RL之前即出现反转。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。