推理时融合图像自身多条字幕可提升检索，但增益高度依赖字幕来源。
资讯摘要
论文研究冻结双编码器在推理时利用同一图像的多条邻近字幕。将图像相似度与图像自身字幕的相似度融合后，在九个冻结编码器上文本到图像 R@1 提升 3.4 至 16.8 点，但前提是字幕与查询来自同一标注者；换成现成字幕生成器后增益降至 1.9 至 7.2 点，来自不同标注源时最多 1 点。作者还分析了一种对字幕未解释图像区域打分的改进方法，指出其留一法评估下的额外增益源于正负候选支持集构建方式不同。
要点速读
- 融合图像相似度与图像自身字幕相似度，在九个冻结编码器上文本到图像 R@1 提升 3.4 至 16.8 点（字幕与查询同源时）。
- 字幕来自现成字幕生成器时增益为 1.9 至 7.2 点，来自不同标注源时最多 1 点。
- 作者称对字幕未解释图像区域打分的改进在留一法评估下增益更大，但该优势来自正负候选支持集构建差异，固定支持索引后仅相当于对字幕信息重新加权。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。