ART：用一张输入图像微调多模态大模型

ART 用一张输入图像替代权重微调，服务开销低于 LoRA。

资讯摘要

论文提出 Art-Based Reinforcement Training（ART），通过优化单张辅助输入图像，使冻结的多模态大模型适配特定任务，推理时只需把该图像加入标准多模态提示，无需改动服务引擎。作者在四个小型 MLLM、三种架构、五个推理基准上对比 LoRA 与 soft prompting：ART 在 20 个基准-模型组合中 10 次排名第一或第二，在 GSM8k 和 SVAMP 两个数学应用题基准上表现最好。vLLM 服务下，ART 吞吐相对纯文本请求下降 6%–14%，LoRA 则下降 13%–93%。

要点速读

1. ART 优化一张辅助输入图像来专门化冻结的 MLLM，推理时将该图像放入多模态提示，无需修改服务引擎。
2. 在四个小型 MLLM、三种架构、五个推理基准上，ART 在 20 个基准-模型组合中有 10 个排名第一或第二，最佳结果出现在 GSM8k 和 SVAMP。
3. 作者报告 vLLM 中 ART 吞吐较纯文本请求下降 6%–14%，LoRA 下降 13%–93%；ART 产物为普通图像，便于存储与分发。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。