Latent-Lens：让小语言模型通过潜在通信获得视觉感知

冻结 VLM 与 SLM 可经潜在空间传递视觉信息，小参数量编解码器优于文本通信。

资讯摘要

论文提出 Latent-Lens，一种轻量编解码器，在冻结的视觉语言模型（VLM）与冻结的纯文本小语言模型（SLM）之间直接于潜在空间传递隐藏状态，避免离散文本通信造成的信息损失。编解码器含域编码器与形式化为 LoRA 的注意力解码器，仅训练约 160 万参数（占合并模型规模的 0.2%）。作者报告在 CLEVR、GQA 视觉问答和 Flickr8k 图像描述上优于相同 LoRA 预算的文本通信基线，并用 TinyLlama-1.1B 与 InternVL2-1B 做了跨架构评估。

要点速读

1. Latent-Lens 用域编码器把 VLM 隐藏状态投影到 SLM 嵌入空间，并用 LoRA 形式的注意力解码器让 SLM 关注视觉前缀。
2. 仅训练约 1.6M 参数，占合并模型规模的 0.2%，VLM 与 SLM 均保持冻结。
3. 作者报告 CLEVR 81.0±7.9%、GQA 65.4±5.4%，文本通信基线为 58.3±5.7% 与 61.8±1.0%；Flickr8k 图像描述较同基线提升 +16.5。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。