新基准用 239 个任务评估智能体写代码生成视频的能力。
资讯摘要
论文提出 VibeVideoBench，用于评估多模态智能体通过编写代码生成视频的能力。基准含 239 个中英文自包含任务、覆盖 12 类，智能体在沙箱内无图像或视频生成模型，须在一小时内交付带声音的 MP4。评估分三层：程序检查、约 1.3 万条任务专属评分项、三个 VLM 评审团按五个质量维度打分。作者报告在九个前沿智能体系统、2151 次评分运行中，GPT-6 Astra 与 Claude Opus 5.5 居前两位，最强系统在 76.3% 任务上满足全部核心要求。
要点速读
- 基准含 239 个中英文任务、12 个类别，要求智能体在无生成模型的沙箱内一小时内交付带声音 MP4。
- 评估结合程序检查、约 1.3 万条任务专属评分项和三个 VLM 评审团，按五个质量维度打分。
- 作者报告 GPT-6 Astra 与 Claude Opus 5.5 在评审和人工标注中均列前二，最强系统在 76.3% 任务上满足全部核心要求。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20（北京时间）。