回到最新动态
论文更新 / THE SIGNAL

StoreBench:实时电商运营智能体评测环境

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

重要性 6.5 AI 辅助整理

StoreBench 用实时电商环境评测智能体,前沿模型仍不及脚本策略。

资讯摘要

论文提出 StoreBench,一个让智能体在生产级电商后端经营中型服装网店的实时电商环境,考察长程规划与不确定性下的经济判断。智能体通过 29 个商家工具操作,模拟时间由动作数决定,奖励经防作弊加固,阈值以脚本策略校准。作者报告七个前沿模型在 11 个场景中均未超过脚本智能策略,最佳 DeepSeek-V4-Pro 通过 49% 的任务-种子组合,脚本策略为 97%;人类专家平均综合分 0.708 高于所有模型。

要点速读

  1. 环境模拟全天候订单、供应商调价与故障、市场冲击,智能体使用与人类相同的 29 个商家工具,操作预算以动作数计。
  2. 作者报告七个前沿模型在 11 个场景、三个世界种子下均未超过脚本 smart-triage 策略(97%),最佳 DeepSeek-V4-Pro 为 49%;人类专家综合分 0.708 高于所有模型。
  3. GRPO 后训练中,Qwen3.5-27B 仅用五个不相交任务训练,留出评测任务平均综合分从 0.136 升至 0.373;发布五个训练任务、十条轨迹及评分验证工具,完整环境未公开。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开