L3G-World用潜在3D高斯记忆实现9 FPS实时世界生成。
资讯摘要
论文提出潜在3D高斯记忆(L3G),将前馈重建的高效性与紧凑、可快速渲染的场景表示结合,并据此构建L3G-World:记忆更新器与视频扩散Transformer(DiT)自回归交替运行,在新观测区域生成高斯并细化已有高斯,使记忆随场景范围而非视频流长度增长。每个高斯存储VAE潜在特征,可直接渲染进DiT的潜在空间,省去VAE重编码。作者报告其生成质量与长程空间一致性达到最优,3D基元最多少38.6倍、记忆更新快3.2倍、记忆渲染快359倍,实现9 FPS实时生成。
要点速读
- 论文提出L3G-World,由记忆更新器与视频扩散Transformer自回归交替生成世界。
- 每个高斯存储VAE潜在特征,可直接渲染到DiT潜在空间,无需VAE重编码。
- 作者报告相对最高效的先前3D记忆基线,3D基元最多少38.6倍、更新快3.2倍、渲染快359倍,达9 FPS。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:16(北京时间)。