视觉语言探针与检索评测的差异研究

探针通过与否和检索到正确项之间未发现关联。

资讯摘要

论文比较视觉语言模型的图文匹配探针与检索评测两种方式，用 SVO 和 SugarCrepe 两个探针基准构造检索任务，对六个 VLM 的 top-10 检索结果由人工与 LLM 评估。作者报告：在 SVO 上，模型对人工构造负例的偏好准确率（85%）显著高于对检索负例（77%）；十个检索负例与 200 至 430 个随机负例效果相当；SugarCrepe 上顺序相反。相关性标签不完整可解释 SVO 上多数低检索分，且探针通过与否同能否检索到正确项无关联。

要点速读

1. 论文用 SVO 与 SugarCrepe 两个探针基准构造检索任务，评估六个 VLM 的 top-10 检索结果。
2. SVO 上对人工构造负例的偏好准确率为 85%，对检索负例为 77%；SugarCrepe 上顺序相反。
3. SVO 上人工标注下 top-1 正确率为 54–90%，基准标签下仅 6–21%，作者归因于相关性标签不完整。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。