VLTest 用四格对照确认图文联合失效，并报告较高精确率。
资讯摘要
论文提出黑盒测试方法 VLTest，用于发现视觉语言模型在图像与文本同时改动时才出现的联合失效。它通过编辑 VQGAN 潜码生成图像变体、用改写-扩展-剪枝流程生成文本变体，先过滤可能改变预期答案的变体，再单独测试每个变体，使每个联合失效都有四格对照，并由 VLM 评判器确认。作者报告在三个任务、八个 VLM 上，oracle 确认 81.7% 的候选，相对人工标注精确率为 88.8% 至 94.6%。
要点速读
- VLTest 先生成图像与文本变体并过滤可能改变预期答案的样本，再分别测试单输入与组合输入，形成四格对照。
- 作者报告在三个任务、八个 VLM（含两个商业 API 模型）上，oracle 确认 81.7% 的候选，相对人工标注精确率为 88.8% 至 94.6%，四格确认拒绝 22.5% 的联合候选。
- 同等预算下，VLTest 的生成器找到的已确认失效数量是 SINVAD 和 TextFooler 的 1.8 至 2.5 倍；每 1000 次联合调用发现 91 至 197 个可归因联合失效。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。