用单纯形约束表示缩小模态鸿沟

论文用单纯形约束将多模态嵌入质心差距降低97–99%。

资讯摘要

论文针对 CLIP、CLAP 等多模态对比模型存在的模态鸿沟，提出纯几何方案：将嵌入域从单位球面 S^(d-1) 改为概率单纯形 Δ^(d-1)，利用非负、单位质量约束作为跨模态校准。作者通过轻量 softmax 适配器与全变差相似度，在五个多模态检索基准上将质心 ℓ₂ 差距降低 97–99%，检索性能匹配或超过标准无约束模型。

要点速读

1. 论文将嵌入域从单位球面改为概率单纯形，以非负、单位质量约束作为跨模态校准的结构先验。
2. 方法为附加轻量 softmax 适配器并使用全变差相似度。
3. 作者报告在五个多模态检索基准上质心 ℓ₂ 差距降低 97–99%，检索性能匹配或超过无约束模型。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。