新基准显示智能体本地搜索在满足个体要求与给出可用推荐间存在权衡。
资讯摘要
论文提出 ATLAS-Bench，一个面向 LLM 智能体本地搜索的基准，包含三个区域共 1,200 条查询，由真实搜索事件扩展而来，区分强制要求与偏好、事实条件与主观判断，并附证据与核查标准。作者同时提出标准化评测环境 ATLASBox，含搜索工具与固定 POI 知识库，评估答案质量、轨迹质量与执行成本。在 11 个模型的 14 种配置中，GPT-6-Luna 返回推荐约束满足率 71.5%、事实准确率 95.6% 最高，但可满足查询中至少给出一个可接受推荐的比例为 67.3%，低于 GLM-5.3 的 85.3%。
要点速读
- ATLAS-Bench 含三个区域 1,200 条查询，由真实搜索事件结合地点属性、评论与用户画像扩展，并经断言检查与跨模型评审验证。
- ATLASBox 提供搜索工具与固定 POI 知识库，要求智能体依据属性与评论推荐有证据支持的选项，或报告无地点满足全部强制要求。
- 11 个模型 14 种配置中，GPT-6-Luna 约束满足率 71.5%、事实准确率 95.6% 最高，但可满足查询覆盖率 67.3% 低于 GLM-5.3 的 85.3%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。