DRIFT 用残差流匹配让预训练 VLM 输出连续值。
资讯摘要
论文提出 DRIFT,一个将预训练视觉语言模型适配到连续解码任务的通用框架。它由提供粗略估计的基础预测器与基于流匹配的生成式精炼模块组成,通过迭代改进预测,把生成建模问题从学习全局输出分布转为建模强先验附近的局部残差分布,从而简化优化。作者在视觉定位与机器人控制等感知和规划任务上评估,称在 MLLM、VLA、WAM 多种架构中均优于回归与生成类基线。
要点速读
- DRIFT 将基础预测器的粗估计与基于流匹配的生成式精炼模块结合,迭代改进连续输出。
- 残差形式把生成建模目标转为建模强先验周围的局部残差分布,论文称可简化优化。
- 作者在视觉定位和机器人控制等任务上评估,报告在 MLLM、VLA、WAM 架构中优于回归与生成类方案。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。