谷歌发布内联音频描述数据集与端到端评测框架 MTG-AD。
资讯摘要
论文提出 MTG-AD 数据集与 MTG-AD-Eval 评测框架，用于评估多模态大模型生成的内联音频描述。数据集含 36 小时视频、8k+ 条由盲人与明眼描述专家共同制作的专业标注。评测将生成脚本渲染为音轨，检验其能否嵌入原视频自然静音段。作者报告前沿模型能准确描述视觉事件并减少语音重叠，但在叙事节奏与流畅度上仍有差距；自动无参考指标与人类评分显著相关。
要点速读
- MTG-AD 为 36 小时视频、8k+ 条描述的专业标注数据集，由盲人与明眼音频描述专家共同制作。
- MTG-AD-Eval 将生成脚本渲染为音轨，评估其嵌入原视频静音段的效果，属端到端评测。
- 作者报告前沿多模态模型在事件描述和减少语音重叠上表现较好，但叙事节奏与流畅度仍有不足；自动指标与明眼评分者及 7 名盲人/低视力参与者的评分显著相关。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。