论文提出按重要性分配注意力的视频字幕智能体框架 Reviso。
资讯摘要
论文提出 Reviso,一种面向视频字幕生成的智能体框架,主张并非所有视觉证据都应获得同等关注。它从低帧率全局预览构建 Context–Focus–Points 分层观察计划,按计划选择性回看片段并调用工具细查,再整合全局与局部信息生成字幕。作者用验证引导流程构建训练轨迹,并以 GRPO 训练,加入关键事实奖励、计划对齐奖励与低效工具调用惩罚。论文报告在四个视频字幕基准上优于所评估的开源基线,生成字幕也更能支持下游视频问答。
要点速读
- Reviso 从低帧率全局预览构建 Context–Focus–Points 分层观察计划,指导选择性回看与工具调用。
- 训练采用验证引导流程构建轨迹,并使用 GRPO,含关键事实奖励、Plan Alignment Reward 与 Unproductive Tool-Call Penalty。
- 论文报告在四个视频字幕基准上优于所评估的开源基线,且字幕对下游视频问答更有帮助。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:26(北京时间)。