新基准显示智能体在状态化业务任务中可靠性明显下降。
资讯摘要
论文提出 Thinkingbox，一个面向工具-智能体-用户交互的沙盒，提供隔离的 MCP 兼容工具会话、完整执行轨迹和基于终端后端状态的结果评估。基于该沙盒构建的 Thinkingbox-bench 包含零售、酒店、车险、数字银行 IT、咨询 IT/HR 支持等场景的 507 个策略约束工作流，用任务专属可执行检查判定结果。作者报告，Claude Opus 5 的 pass@1 为 66.50%，pass^20 降至 47.53%；Kimi-K3 从 57.37% 降至 17.60%。
要点速读
- Thinkingbox 提供隔离 MCP 兼容工具会话、完整执行轨迹与终端后端状态评估。
- Thinkingbox-bench 含 507 个策略约束业务流程，覆盖零售、酒店、车险、数字银行 IT 与咨询 IT/HR 支持。
- 作者报告 Claude Opus 5 从 pass@1 66.50% 降至 pass^20 47.53%，Kimi-K3 从 57.37% 降至 17.60%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。