LLM 从偶然失败中写的教训会让智能体更易选错工具
资讯摘要
论文提出一项预注册研究，考察自改进智能体从运行结果中撰写经验教训时，是否会把偶然结果带入后续决策。研究在 256 个合成世界中，让模型按 ReasoningBank 的记忆写入指令生成教训，再由同一模型的新会话依据该教训选择下一轮首个工具；11 个 LLM 端点共产生 90,084 条回答。作者报告，较好工具偶然失败后，依据该失败写成的教训使下一次运行选择较差工具的比例升至 11.6%，而无关条目和依据成功写成的教训均为 0.4%。
要点速读
- 研究采用预注册协议，在确认性调用前冻结并留存时间戳；11 个 LLM 端点共给出 90,084 条回答。
- 较好工具偶然失败后，依据该失败写成的教训使下一次运行选择较差工具的比例为 11.6%，无关条目与依据成功写成的教训均为 0.4%。
- 作者报告，日志声明失败相互独立时效应为 +0.042，未声明时为 +0.181；探索性读数中 6 个端点出现偶然性传递，5 个端点效应上界低于 0.10。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。