统一前馈模型同时做检测、几何与占用重建，并发布新基准。
资讯摘要
论文提出 Foundation4D，一个统一的前馈模型，可从多相机驾驶视频完成几何估计、3D 检测、语义占用与高斯重建。共享骨干采用分解式时空注意力融合跨相机、跨时间观测，视频推理用位姿图优化精修相机轨迹并跨窗口组装目标轨迹。作者还发布含 1,253 段驾驶片段稠密深度与语义占用标注的 PAI-Foundation4D 基准。
要点速读
- 共享骨干使用分解式时空注意力，融合多相机与多时刻观测。
- 视频推理流程用位姿图优化精修相机轨迹，并跨输入窗口组装目标轨迹。
- 作者报告在 Waymo、nuScenes 取得最低深度 AbsRel，nuScenes 检测 mAP 与 OpenOccupancy 占用 mIoU 在对比方法中最高；联合训练检测与几何使 top-class mAP 提升 1.2 点，几何联合检测使相机到支架平移误差相对仅几何训练降低 13.4%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:35（北京时间）。