StoreBench 用实时电商环境评测智能体,前沿模型仍不及脚本策略。
资讯摘要
论文提出 StoreBench,一个让智能体在生产级电商后端经营中型服装网店的实时电商环境,考察长程规划与不确定性下的经济判断。智能体通过 29 个商家工具操作,模拟时间由动作数决定,奖励经防作弊加固,阈值以脚本策略校准。作者报告七个前沿模型在 11 个场景中均未超过脚本智能策略,最佳 DeepSeek-V4-Pro 通过 49% 的任务-种子组合,脚本策略为 97%;人类专家平均综合分 0.708 高于所有模型。
要点速读
- 环境模拟全天候订单、供应商调价与故障、市场冲击,智能体使用与人类相同的 29 个商家工具,操作预算以动作数计。
- 作者报告七个前沿模型在 11 个场景、三个世界种子下均未超过脚本 smart-triage 策略(97%),最佳 DeepSeek-V4-Pro 为 49%;人类专家综合分 0.708 高于所有模型。
- GRPO 后训练中,Qwen3.5-27B 仅用五个不相交任务训练,留出评测任务平均综合分从 0.136 升至 0.373;发布五个训练任务、十条轨迹及评分验证工具,完整环境未公开。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。