稀疏编辑空白画布即可进入视觉编码器的目标语义区域
资讯摘要
论文提出 SPOOK 方法，在空白画布上做稀疏像素编辑，用简单的像素级爬山搜索，在黑盒设置下探测视觉编码器远离自然图像流形时的表示行为。作者在 ImageNet 和 Flickr30k 上测试 OpenCLIP 与 DINOv3：朝类别提示优化的空白画布在 OpenCLIP 上取得较强的定向 top-1/top-5 检索表现，朝类别原型优化的输入在 DINOv3 上对齐度高、原型排名接近前列。论文据此指出，现代视觉编码器存在共享的离流形失效模式。
要点速读
- 方法为在空白画布上施加稀疏像素编辑，并用像素级爬山搜索进行黑盒优化。
- 在 OpenCLIP 上，朝类别提示优化的输入取得较强的定向 top-1 与 top-5 检索表现。
- 在 DINOv3 上，朝类别原型优化的输入对齐度高、原型排名接近前列；作者将其归为视觉编码器共享的离流形失效模式。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。