论文：多模态上下文学习瓶颈在视觉定位

论文用对比强化学习提升多模态上下文学习的视觉定位能力。

资讯摘要

论文指出多模态大模型做上下文学习时，常忽略示例中的视觉证据而依赖文本线索，导致幻觉输出，并将视觉定位视为关键瓶颈。作者提出 ProCoRe，用对比图像对生成描述并分解为命题，通过对比强化学习奖励图文匹配。作者报告在未见 ICL 格式训练样本的情况下，Qwen-VL-3-8B 上多模态 ICL 分类准确率平均提升 5.6%，描述 ROUGE-L 提升 13.8%，并推出 PICL 个性化多模态 ICL 描述基准。

要点速读

1. 论文将视觉定位识别为多模态上下文学习的关键瓶颈，指出现有方法易过拟合 ICL 基准且引发遗忘。
2. ProCoRe 基于对比图像对生成描述、分解命题并优化对比奖励，无需 ICL 格式训练数据。
3. 作者报告在 Qwen-VL-3-8B 上分类准确率提升 5.6%、描述 ROUGE-L 提升 13.8%，并提出 PICL 基准。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。