多模态强化学习中的视觉信用分配框架OVC

论文提出 OVC 框架，改进多模态 RLVR 的 token 级信用分配。

资讯摘要

论文针对多模态强化学习可验证奖励（RLVR）中统一分配响应级优势、忽视视觉观察与后续推理不同角色的问题，提出即插即用框架 Outcome-Conditioned Visual Credit（OVC）。该方法将视觉关联度量与 token 级信用分配分离，通过相对视觉编码、结果条件证据校准和归一化信用分配生成 token 权重。作者报告在 GSPO-token 上实例化后，三个模型在六个基准上的平均准确率较 GSPO 提升 1.86–2.39 个百分点。

要点速读

1. 论文指出仅依赖视觉亲和度不足：预测状态可能同时对齐图像与提示上下文表示，且后续推理失败时会放大负优势更新。
2. OVC 包含相对视觉编码、结果条件证据校准与归一化信用分配三部分，复用已有 rollout，无需辅助奖励模型、过程标注或推理时模块。
3. 作者报告以 GSPO-token 实例化后，在三个模型、六个基准上平均准确率较 GSPO 提升 1.86–2.39 个百分点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。