回到信息流
研究论文 / THE SIGNAL

OpenVLHarness:带多模态记忆的视觉工具调用框架

OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

AI 辅助整理

资讯摘要

论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架。能力层提供任务级工具接口与证据渲染,将异构后端输出转为模型可读观察;持久记忆保留图像、结构化数据和网页引用,编码接口可在存储数据上执行程序以组合多工具结果。作者在 22 个基准、八种开源与专有骨干模型上评测,报告平均分较无工具基线提升 9.7–12.6 分。

要点速读

  • 论文称在 22 个基准上,仅提高基础模型推理预算带来的增益有限。
  • 能力层结合任务级工具接口与证据渲染,统一访问异构后端并转换输出。
  • 作者报告平均分较匹配的无工具基线提升 9.7–12.6 分,其中 Qwen3-VL-8B 提升 11.2 分。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/21 01:00:13(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开