VLM 读图文字的瓶颈在“用”而非“认”。
资讯摘要
论文提出视觉文本压缩中的“读用差距”：VLM 能逐字转录图像中的文字，却仍无法据此作答；把转录文本回喂给模型后，其表现接近直接读原文。作者报告 Qwen3-VL-8B 的识别在 15 像素字符时饱和，而使用需到 24 像素，且从 2B 扩到 32B 只提升识别、不缩小差距。论文提出 ALOUD，在 5 倍压缩长文档上把冻结的 Qwen3-VL-8B 准确率从 27.7% 提升到 54.8%。
要点速读
- 论文定义“读用差距”：VLM 可逐字转录图像文字，却无法据此回答问题；回喂其自身转录后表现接近原文。
- 作者报告识别与使用所需分辨率不同：Qwen3-VL-8B 识别在 15 像素字符饱和，使用到 24 像素才跟上，模型从 2B 扩到 32B 不缩小差距。
- 论文提出 ALOUD，将视觉分辨率用于定位和识别证据、语言 token 用于使用证据；5 倍压缩下准确率 27.7%→54.8%，接近原文 58.5%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。