新基准显示全模态模型在流式主动干预上仍普遍不可靠。
资讯摘要
论文提出 Omni-InteractScope 基准，用于评估全模态大模型在连续音视频流中主动、及时干预的能力。该基准含 1,479 条人工标注交互与 1,790 个时间目标，覆盖八类任务。作者报告，12 个受测模型在工具调用目标上按时首次响应率最高 40%，时序与工具联合准确率最高 32.0%；无查询提醒召回率不超过 23.0%；26 条引导序列中九个模型完全未覆盖。
要点速读
- 基准包含 1,479 条人工标注、交叉复核的交互，以及 1,790 个时间目标，分为八个任务组。
- 12 个受测模型对工具调用目标的按时首次响应率最高 40%，时序与工具联合准确率最高 32.0%。
- 无查询提醒的及时目标召回率不超过 23.0%；26 条引导序列中九个模型完全未覆盖，其余三个各覆盖一至三条。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:20（北京时间）。