论文用四种检测器测量医学VLM基准污染,并指出部分检测器不可靠。
资讯摘要
论文检验开放视觉语言模型在SLAKE-En、PathVQA、VQA-RAD及OmniMedVQA公开镜像上的预训练污染假设,使用四种检测器。图像侧,SLAKE-En有19.8%图像在PMC-OA-beta中存在异常近邻(SigLIP-B-16下),人工检查显示为同模态同视角的不同患者图像,作者将其解读为图像来源重叠而非记忆。文本侧,Qwen2.5-VL在SLAKE-En上出现可交换性信号,且通过排序消融与两个非医学基线检验。作者指出另两种检测器未通过对照,不宜单独作为污染信号。
要点速读
- 图像近邻检测显示SLAKE-En 19.8%图像在PMC-OA-beta中有异常近邻,域外对照图像无标记。
- 人工检查表明近邻为同模态同视角的不同患者图像,作者解读为图像来源重叠而非单图记忆。
- Qwen2.5-VL在SLAKE-En上呈现可交换性信号;Min-K%++与top-K重叠检测器被BLIP-2对照复现出假阳性。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。