MiRL：针对终端智能体错误行为的强化学习纠偏方法

论文用错误定向强化学习降低终端智能体的重复错误。

资讯摘要

论文提出 Misbehavior-driven RL（MiRL），用于终端智能体的错误定向学习：先分析策略在多个环境中反复出现的错误步骤（misbehaviors），再以这些步骤为起点做强化学习，仅当 rollout 通过测试且不重复该错误时才给予奖励。作者报告在 Qwen3.5-4B 上，八类错误占错误步骤的 52.1%；训练后在未见前缀上重复这些错误的频率平均降低 43%–57%。在 Terminal-Bench Lite 上以 51.8% 超过 TMax-4B 的 47.4%，在 Terminal-Bench 2.1 上为 21.3% 对 20.6%，且 rollout 用量为其 35%。

要点速读

1. MiRL 先刻画策略的可泛化错误行为，再从这些错误发生的步骤开始 RL 训练，奖励要求通过测试且避免该错误。
2. 作者报告 Qwen3.5-4B 上八类错误行为占错误步骤的 52.1%，训练后在未见前缀上重复率平均下降 43%–57%。
3. Terminal-Bench Lite 上 51.8% 对 TMax-4B 的 47.4%，Terminal-Bench 2.1 上 21.3% 对 20.6%，rollout 用量为后者 35%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。