资讯摘要
论文提出 HRoPE,一种面向多视图 Transformer 的表面感知位置编码。该方法把每个 patch 的局部几何表示为倾斜 3D 平面,并将由平面诱导的 token 级单应性作为相对变换注入注意力,从而为跨视角特征对齐提供几何先验。作者报告在 RealEstate10K、CO3Dv2 和 DL3DV 上新视角合成结果优于所评估的几何位置编码。
要点速读
- HRoPE 将每个 patch 的局部几何建模为倾斜 3D 平面,沿用经典多视图立体的倾斜支撑窗假设。
- 该方法把平面诱导的 token 级单应性作为相对变换注入注意力,用于校正透视畸变并对齐跨视角 patch 特征。
- 平面参数无需真值几何,可在仅视图合成目标下端到端预测,或由基础模型导出;作者报告在 RealEstate10K、CO3Dv2、DL3DV 上新视角合成优于所评估的几何位置编码。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/22 08:00:25(北京时间)。