论文提出两阶段LoCA,将位置编码扩展到多模态输入。
资讯摘要
论文指出,位置编码器通过对比学习对齐地球观测影像,将地理坐标映射为高维描述符,但受Lipschitz约束,其输出内在维度至多2,导致对比损失无法达到渐近最优,联合训练还会使嵌入协方差降秩。作者将冻结图像编码器训练视为协方差正则化,并提出两阶段LoCA:先联合训练Sentinel-1与Sentinel-2编码器,得到共对齐高秩多模态目标;再冻结图像编码器,训练位置与表格元数据编码器作为投影适配器。作者报告在17项任务上LoCA胜出最多,赢得68.8%的逐任务比较。
要点速读
- 论文证明Lipschitz位置编码器输出内在维度至多2,对比损失严格高于渐近最优。
- LoCA第一阶段联合训练Sentinel-1和Sentinel-2编码器,第二阶段冻结图像编码器并训练位置与表格元数据适配器。
- 作者报告在17项任务中LoCA赢得68.8%的逐任务比较,是唯一在多数任务上超过其他所有模型的方案。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:26(北京时间)。