视频 RLVR 中的捷径放大与感知不确定性坍缩

论文揭示视频 RLVR 会放大文本先验捷径，并提出 BSPO 缓解。

资讯摘要

论文指出，视频 RLVR 的结果级优化会放大捷径：模型更倾向输出文本先验答案，即使视觉证据不支持。作者从感知不确定性角度分析训练动态，发现“感知不确定性坍缩”——RL 训练持续锐化答案分布，而视觉证据带来的不确定性下降逐渐减弱；梯度方向分析显示，置信度提升越来越偏离视觉依据。为此提出 BSPO 自蒸馏框架，用组内正确与错误轨迹提取推理敏感 token，并引入捷径感知的视觉扰动惩罚，自适应重加权原始 RL 优势。

要点速读

1. 论文发现视频 RLVR 存在捷径放大效应，模型更偏好文本先验答案而非视觉证据支持的答案。
2. 作者提出感知不确定性坍缩现象，并用梯度方向分析说明置信度提升逐渐由文本先验压缩主导。
3. 论文提出 BSPO 自蒸馏框架，通过推理敏感 token 与捷径感知视觉扰动重加权 RL 优势，实验报告其提升视频推理与视觉忠实度。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。