精简工具集与模态整合的高效音视频问答智能体

两工具精简智能体在 AVQA 上准确率不降、推理成本降约七成。

资讯摘要

论文研究细粒度音视频问答（AVQA）中全模态智能体的工具集依赖问题。作者从专用工具版 OmniAgent 出发，通过分阶段受控实验裁剪工具集，并将音频、视觉专用工具逐步整合为全模态工具，最终得到仅含全模态描述与全模态问答两个工具的智能体。在三个常用 AVQA 基准上，该精简智能体准确率与专用工具版相当或更好，同时推理成本降低约 70%。

要点速读

1. 论文以 OmniAgent 为起点，通过分阶段受控实验裁剪工具集并整合模态专用工具。
2. 最终智能体仅保留 Omni-modal captioning 与 Omni-modal QA 两个工具。
3. 在三个 AVQA 基准上准确率相当或更优，推理成本降低约 70%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。