新基准同时检查流程与结果，揭示仅看最终记录会高估成功率。
资讯摘要
论文提出 TauIndianBankBench，一个面向印度零售银行业务、以动作为导向的评测基准，包含 1000 个任务，由助手协助模拟客户完成。该基准除检查对话结束时的最终记录外，还核查助手是否完成每个必需步骤、是否做出未被请求的改动。作者报告，若只检查最终记录，各模型有 6.5%–12.0% 的会话被判成功，尽管助手跳过了必需步骤或做了未请求的改动。
要点速读
- 基准包含 1000 个印度零售银行任务，助手需协助模拟客户完成操作。
- 评测同时检查最终记录与流程步骤，识别跳过必需步骤或未请求改动的情况。
- 作者报告：仅看最终记录时，各模型有 6.5%–12.0% 的会话被判成功，但实际存在流程违规。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。