回到最新动态
论文更新 / THE SIGNAL

测量公共医学视觉语言基准的预训练污染

Measuring Pretraining Contamination in Public Medical Vision-Language Benchmarks

重要性 5.5 AI 辅助整理

论文用四种检测器测量医学VLM基准污染,并指出部分检测器不可靠。

资讯摘要

论文检验开放视觉语言模型在SLAKE-En、PathVQA、VQA-RAD及OmniMedVQA公开镜像上的预训练污染假设,使用四种检测器。图像侧,SLAKE-En有19.8%图像在PMC-OA-beta中存在异常近邻(SigLIP-B-16下),人工检查显示为同模态同视角的不同患者图像,作者将其解读为图像来源重叠而非记忆。文本侧,Qwen2.5-VL在SLAKE-En上出现可交换性信号,且通过排序消融与两个非医学基线检验。作者指出另两种检测器未通过对照,不宜单独作为污染信号。

要点速读

  1. 图像近邻检测显示SLAKE-En 19.8%图像在PMC-OA-beta中有异常近邻,域外对照图像无标记。
  2. 人工检查表明近邻为同模态同视角的不同患者图像,作者解读为图像来源重叠而非单图记忆。
  3. Qwen2.5-VL在SLAKE-En上呈现可交换性信号;Min-K%++与top-K重叠检测器被BLIP-2对照复现出假阳性。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开