论文称独立训练的模型共享足够几何,可少用或不用配对数据完成跨模态对齐。
资讯摘要
论文提出 GeoWarP 方法,基于 Platonic Representation Hypothesis,用带粗几何初始化的 Wasserstein Procrustes 估计单一正交映射,在完全无配对样本的情况下对齐两组独立训练的嵌入。作者报告该方法在多个数据集、模态和单模态模型上可稳定实现粗粒度跨模态对齐,且标准几何对齐指标能预测何时可行;在极少配对样本场景下明显优于现有方法,并可用于无配对数据的文本到图像生成。
要点速读
- 论文提出 GeoWarP:用粗几何初始化的 Wasserstein Procrustes 估计单一正交映射,无需配对样本即可对齐两组独立训练的嵌入。
- 作者报告在多个数据集、模态和单模态模型上可一致地实现无配对对齐,且标准几何对齐指标能预测对齐是否可行。
- 在极少配对样本场景下,该方法明显优于现有方法;作者还展示所得对齐可用于无配对数据的文本到图像生成。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。