SLATE：电商工具使用中大规模长程API选择基准

SLATE基准显示最佳模型仅完成5.0%的长程API选择任务。

资讯摘要

论文提出SLATE基准，用于测试大工具集、长程的API选择能力：查询被分解为基于约1000个电商工具的分层流程，配合确定性模拟器，并以端到端任务成功作为指标，允许不同但有效的执行轨迹。作者报告，六个3B至12B参数的开源决策模型及其基座模型中，最佳者仅完成5.0%的任务。

要点速读

1. SLATE包含约1000个电商工具库，查询被分解为分层、工具锚定的流程。
2. 采用确定性、上下文感知模拟器，匹配调用返回记录输出，否则返回默认响应。
3. 端到端任务成功指标要求达到所有参考结果，作者报告最佳模型仅完成5.0%任务。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。