回到最新动态
论文更新 / THE SIGNAL

MathLens基准拆解多模态推理能力

What MLLMs Learn about When they Learn about Multimodal Reasoning

重要性 5.5 AI 辅助整理

MathLens将多模态推理拆成感知、推理与多模态特有成分分别测量。

资讯摘要

论文提出MathLens基准,用教材式几何题将多模态推理拆分为感知、推理与多模态特有成分,每题配有图示、纯文本变体与感知探针。作者报告,聚合准确率掩盖了不同训练策略的能力差异:强化学习主要提升感知定位与图示变化鲁棒性,文本SFT则通过反思式推理带来增益;随感知与推理改善,剩余错误中多模态特有错误占比上升。

要点速读

  1. MathLens由符号规格生成几何题,并附图示、纯文本变体、多模态问题与感知探针,用于分别测量各成分。
  2. 作者报告强化学习主要改善感知定位和对图示变化的鲁棒性,文本SFT的增益来自反思式推理。
  3. 感知与推理提升后,剩余错误中多模态特有错误比例上升,说明总体准确率掩盖了子能力间的此消彼长。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开