回到最新动态
论文更新 / THE SIGNAL

AgentHop:面向科学引文图谱的智能体多跳问答诊断基准

AgentHop: A Diagnostic Benchmark for Agentic Multi-Hop Question Answering over Scientific Citation Graphs

重要性 5.0 AI 辅助整理

AgentHop 用四维拆解诊断智能体多跳问答的失败原因。

资讯摘要

论文提出 AgentHop,一个包含 1,011 道多选题的诊断基准,配套受控的七工具沙箱,并限定 token、轮次与工具调用次数。它把单一准确率拆解为检索、综合、工具调用和资源管理四个维度,用于定位智能体失败原因。作者报告在 19 个模型上,行为按模型家族聚类,工具调用特征呈现家族差异,并公开基准集与测试框架。

要点速读

  1. AgentHop 含 1,011 道多选题,配七工具沙箱,固定 token、轮次和工具调用约束。
  2. 基准将准确率拆为检索、综合、工具调用、资源管理四个诊断维度。
  3. 作者报告 19 个模型的行为按家族聚类,如 GPT 早提交、Anthropic 与 GLM 先验证、DeepSeek 与 Kimi 过度检索、Gemini-3 Pro 较均衡。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开