新基准显示全模态大模型长时多说话人识别仍存明显瓶颈。
资讯摘要
论文提出 Omnilingual-MsASR，一个面向长时、多说话人自动语音识别的多语言多模态基准，覆盖六种语言、最长 30 分钟录音、最多 20 名说话人，并提供平行音频与视频输入以考察跨模态一致性。作者报告对领先全模态大模型的评测显示明显性能瓶颈，tcpWER 常超过 100%，指出细粒度时间定位、说话人区分与跨模态协同是未来关键挑战。
要点速读
- 基准覆盖六种语言、最长 30 分钟录音、最多 20 名说话人，提供音频与视频平行输入。
- 作者报告领先全模态大模型在该基准上存在明显瓶颈，tcpWER 常超过 100%。
- 论文将细粒度时间定位、说话人消歧和跨模态协同列为未来全模态基础模型的关键挑战。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。