视觉编码器的跨模态文字理解只在最深层显现
资讯摘要
论文系统研究基于 Transformer 的视觉编码器如何处理文字及其含义，以渲染文字与视觉概念的跨模态对齐为切入点，结合探针与检索分析，按层考察正字、语法和语义组织。作者报告，强跨模态映射只在最深层出现，晚于单模态物体与文字识别能力的发展，并伴随从表层到语义表征的过渡；该层级在对比训练模型中最强，更大的自监督模型与文本丰富的训练数据可部分支持类似行为。
要点速读
- 论文按层分析视觉编码器对文字的正字、语法与语义组织，并用跨模态对齐、探针和检索作为分析手段。
- 作者报告强跨模态映射仅出现在最深层，且晚于单模态物体与文字识别能力形成。
- 该层级在对比训练模型中最强；更大自监督模型和文本丰富数据可在无显式语言监督下部分复现。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。