视觉语言模型的训练与推理分歧机制

论文称自回归 VLM 的对抗鲁棒性主要取决于语言解码器先验。

资讯摘要

论文提出视觉语言模型存在“训练/推理分歧”：定向对抗扰动可将固定目标描述的训练损失压至近零，但模型自由生成时仍输出原正确描述。作者在 Qwen2.5-VL-7B-Instruct 上用两阶段 PGD 攻击 200 张 COCO 图像，发现图像像素统计几乎无法预测哪些图像被污染，并用 logit lens 将分歧定位到单个自回归步骤。

要点速读

1. 论文在 Qwen2.5-VL-7B-Instruct 上对 200 张 COCO 图像实施受控两阶段 PGD 攻击，观察到训练损失接近零但自由生成仍输出原描述。
2. 作者报告图像级像素统计（含重新实现的纹理可攻击性指标）对哪些图像被污染几乎无预测力，最佳预测因子 r=-0.050、p=0.484，岭回归 R^2=0.069。
3. 用 logit lens 追踪 28 层解码器发现视觉编码器对各图像表征的破坏幅度相近，语言解码器则对易感图像放大污染信号、对抵抗图像主动抑制（p<0.001，rank-biserial r=0.579）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。