HALO：主动式智能体的人类细粒度评估基准

HALO 基准显示过度主动是主动式智能体的主要失败模式。

资讯摘要

论文提出 HALO，一套面向主动式智能体的人类细粒度评估方法。其 HALO-Arena 覆盖依赖、阻塞、风险、机会 4 类主动需求，横跨 10 个日常领域与 50 个个人环境；并构建 HALO-8K 数据集，含 10 个模型在 400 个场景下的 8000 条回答，由 20 名专家标注动作级别、可接受性判定与人类诊断。作者报告最佳闭源与开源模型可接受率分别为 72.88% 和 56.63%，过度主动是主要失败模式。

要点速读

1. HALO-Arena 覆盖 4 类主动需求、10 个日常领域和 50 个个人环境，要求智能体先检索证据再判断是否及如何介入。
2. HALO-8K 含 10 个模型在 400 个场景下的 8000 条回答，由 20 名专家标注动作级别、可接受性判定与人类诊断。
3. 作者报告最佳闭源与开源模型可接受率分别为 72.88% 和 56.63%；过早时机或过度强度占被拒回答的 61.20%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。