FactEmbed：分解式MLLM嵌入用于组合图像检索

FactEmbed用分解潜变量显式建模视觉修改以改进组合图像检索。

资讯摘要

论文针对组合图像检索（CIR）提出FactEmbed，认为现有基于多模态大语言模型（MLLM）的方法仅靠对比监督把组合查询直接映射为检索嵌入，未显式解析目标视觉修改，组合理解未被充分利用。FactEmbed将组合查询理解与判别性嵌入构建解耦，用一组分解潜变量通过中间目标想象目标模拟预期视觉修改，并以因子级对比损失优化、将分解表示蒸馏到MLLM更深注意力层；推理时保留[EOS]令牌形成全局嵌入，并用均值池化的分解潜变量对短候选列表重排。作者报告其在CIR基准上优于先前工作。

要点速读

1. FactEmbed将组合查询理解与判别性嵌入构建解耦，用分解潜变量经中间目标想象目标模拟视觉修改。
2. 训练采用因子级对比损失，并把分解表示蒸馏到MLLM更深注意力层。
3. 推理保留[EOS]全局嵌入，并用均值池化潜变量重排短候选列表；作者报告在CIR基准上优于先前工作。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:36（北京时间）。