VANE：在嵌入空间做下一帧预测的视觉预训练框架

VANE 用嵌入空间下一帧预测统一图像与视频预训练。

资讯摘要

论文提出自监督视觉预训练框架 VANE，在固定嵌入空间中做下一帧预测：因果编码器汇总过去观测，状态预测器推断整帧表示，并以冻结语义分词器提供的嵌入空间为主学习信号；轻量生成解码器据预测表示重建未来帧图像块以保留空间细节。作者将静态图像构造成局部到全局的裁剪序列，用同一目标统一图像与视频建模。作者报告其在多数预测、识别与稠密感知基准上取得统一编码器中的 SOTA，EPIC-KITCHENS-100 动作预测 mean-class recall@5 超 V-JEPA 2.1 达 7.1 点。

要点速读

1. VANE 以嵌入空间的下一帧预测为主要学习信号，预测由冻结语义分词器提供的固定嵌入空间完成。
2. 辅助生成解码器根据预测表示重建未来帧图像块，以保留细粒度空间细节。
3. 作者报告在 EPIC-KITCHENS-100 动作预测上 mean-class recall@5 比 V-JEPA 2.1 高 7.1 点，并称性能随模型与数据规模提升。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。