回到最新动态
交叉发布 / THE SIGNAL

视觉语言模型安全几何随层深变化:逐层定位与双向拒答控制

Depth-Dependent Safety Geometry in Vision-Language Models: Layer-Wise Localization and Bidirectional Refusal Control

重要性 5.5 AI 辅助整理

论文在冻结 VLM 视觉编码器中发现随层深变化的安全几何与拒答控制面。

资讯摘要

论文提出一种轻量推理时框架,在冻结的视觉语言模型上定位并操控安全敏感表征,无需重训或改参数。在 Qwen3-VL-4B 上,逐层激活差异分析显示安全几何随深度不均匀;因果干预表明早期视觉层可沿学习到的安全方向实现双向拒答控制,不安全拒绝率跨 6%–96%,后层更受激活幅度缩放影响并存在安全—选择性权衡。InternVL2.5-4B 呈现定性相似的深度依赖几何。

要点速读

  1. 框架在冻结 VLM 上做推理时定位与操控,不重训、不改参数。
  2. Qwen3-VL-4B 早期视觉层经激活引导实现双向拒答控制,不安全拒绝率跨 6%–96%。
  3. 深层沿安全方向可分但对引导不敏感,作者据此区分表征可分性与因果可控性。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开