Bank-World 显示智能体决策正确也常无法完成银行工作。
资讯摘要
论文提出 Bank-World 基准,包含两家模拟机构中的 50 项银行任务,通过单轮任务和多轮交互考察智能体对账、获取授权、执行交易及保持指令与状态一致的能力。评分结合对记录动作与状态的可执行检查,以及模型对任务要求的判断。作者报告四个模型共 1600 次尝试中,正确决策常未能转化为完成的工作,出现重复收费、金额分配错误、审批未完成即付款等问题;Sol 单轮完成领先,Opus 多轮完成率最高,Grok 多轮成功任务更多但稳定性较低。
要点速读
- 基准含 50 项银行任务,覆盖两家模拟机构,设单轮任务与多轮人机交互。
- 评分结合可执行检查与模型判断,并考察合法替代方案是否满足要求。
- 作者报告 1600 次尝试中,智能体出现重复收费、金额分配错误、审批未完成即付款等问题。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。