不改模型只优化推理程序,图表问答准确率平均从16.6%升至41.3%。
资讯摘要
论文关注开放视觉语言模型在科学图表问答上的表现,观察到许多错误源于回答不精确,进而研究在不改动模型本身的前提下能恢复多少准确率。作者借鉴AlphaEvolve式自主进化,在冻结模型周围搜索推理程序与代码:每轮让LLM评审查看代码和训练题上的失败案例,提出改进编辑,候选程序按训练准确率保留在小池中。在三个VLM和四个科学图表基准上,描述性问题的精确匹配率平均从16.6%升至41.3%,最大单项提升55.2个百分点,进化后程序还快3.8倍。
要点速读
- 方法不改动模型权重,只搜索冻结VLM周围的推理程序与代码,用LLM评审基于失败案例提出进化编辑。
- 在三个VLM、四个科学图表基准上,描述性问题精确匹配率平均由16.6%升至41.3%,最大单项提升55.2个百分点。
- 作者报告进化后程序比初始程序快3.8倍,并认为相当一部分错误来自推理流程而非模型本身。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。