AgentHop 用四维拆解诊断智能体多跳问答的失败原因。
资讯摘要
论文提出 AgentHop,一个包含 1,011 道多选题的诊断基准,配套受控的七工具沙箱,并限定 token、轮次与工具调用次数。它把单一准确率拆解为检索、综合、工具调用和资源管理四个维度,用于定位智能体失败原因。作者报告在 19 个模型上,行为按模型家族聚类,工具调用特征呈现家族差异,并公开基准集与测试框架。
要点速读
- AgentHop 含 1,011 道多选题,配七工具沙箱,固定 token、轮次和工具调用约束。
- 基准将准确率拆为检索、综合、工具调用、资源管理四个诊断维度。
- 作者报告 19 个模型的行为按家族聚类,如 GPT 早提交、Anthropic 与 GLM 先验证、DeepSeek 与 Kimi 过度检索、Gemini-3 Pro 较均衡。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。