PEAR 用自适应优势重塑提升多模态推理的感知与探索。
资讯摘要
论文提出 PEAR,一种用于多模态推理的自适应优势重塑方法。作者指出,此前工作将视觉依赖与 token 熵结合来重塑序列级优势,但按视觉依赖缩放 token 熵的贡献,会使视觉依赖低的高熵 token 权重不足,而这些 token 对推理探索很重要。PEAR 以视觉依赖为基础信号,仅在高熵位置加入基于熵的探索增益,视觉依赖越低增益越大,再把融合信号映射为正的 token 级权重来重塑序列级优势。在 Qwen2.5-VL-3B/7B 上的实验显示,PEAR 在多模态推理基准上取得所评估基线中最高的平均表现,并在文本推理和通用多模态基准上也有领先结果。
要点速读
- 论文指出,按视觉依赖缩放 token 熵会使视觉依赖低的高熵 token 权重不足。
- PEAR 以视觉依赖为基础信号,仅在高熵位置加入探索增益,视觉依赖越低增益越大。
- 在 Qwen2.5-VL-3B/7B 上,作者报告 PEAR 在多模态推理基准上平均表现最高,并在文本推理与通用多模态基准上领先。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。