用OCR注意力头解读图像语义

OCR注意力头实为通用语义头，可解读并编辑图像概念。

资讯摘要

论文研究视觉语言模型如何从像素映射到语义，聚焦OCR任务。作者在四个模型中找到对OCR因果必要的注意力头，发现这些头是通用语义头，对含“bike”的图像token输出“bike”，对鸟翼输出“feathers”。作者将这些头的注意力权重合并为单一“语言化透镜”变换，可从第0层起在词表空间得到可解释标签，表明图像表征在早期层已与语言对齐；其逆变换还能编辑非词语概念，如将拖拉机替换为左轮手枪。

要点速读

1. 在四个模型中识别出对OCR因果必要的注意力头，并发现其输出跨图像token的可解释语义特征。
2. 将注意力权重合并为语言化透镜变换，结合词表投影可从第0层获得可解释标签。
3. 利用该变换的逆变换编辑非词语概念，如把自然图像中的拖拉机替换为左轮手枪。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。