Martingale GRPO：为 VLA 强化学习截断失败反馈

论文用 VLM 定位错误区间截断 GRPO 失败反馈，提升 VLA 任务成功率。

资讯摘要

论文指出，GRPO 将轨迹级优势分配给整条 rollout 的所有动作，可能连带惩罚本可纠正错误的恢复尝试。作者用成功概率与策略得分鞅刻画理想的失败反馈停止条件，提出 MART-GRPO：用 LoRA 微调的 VLM 在完整 rollout 视频中定位最后一个未见恢复的可见错误，保留该错误区间内的失败反馈、其后截断，同时保留成功轨迹损失项与原有损失归一化。在 RoboTwin 2.0 上以 OpenVLA-OFT 实验，作者报告多任务成功率优于全轨迹 GRPO。

要点速读

1. 论文指出 GRPO 的轨迹级优势会同时惩罚恢复尝试，提出基于鞅的停止条件以截断失败反馈。
2. MART-GRPO 用 LoRA 微调的 VLM 定位最后一个未见恢复的可见错误，保留错误区间反馈并截断其后部分。
3. 作者报告在 RoboTwin 2.0 上用 OpenVLA-OFT 实验，多任务成功率高于全轨迹 GRPO。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。