决策一致率高不代表工具调用与授权执行可靠。
资讯摘要
论文提出 DFAH-Bench，用重放实验、受控的省略工具调用测试和带授权检查的银行任务，考察金融智能体决策一致性与实际执行之间的关系。作者报告：570 个可评估重放回合中决策一致率为 94–95%，但包含输入与结果的工具路径一致率仅 45–52%；另一项 48 次执行诊断中，从重复记录里删除相同调用后一致率仍完美。银行探针中重复授权决策有时与构造的规则标签冲突。
要点速读
- 570 个可评估重放回合中决策一致率 94–95%，工具路径一致率 45–52%，其中一个条件未达计划最低组数。
- 48 次执行诊断显示，从重复记录中删除相同调用后一致率仍为完美，说明一致可能掩盖系统性省略。
- τ-Knowledge 银行研究计划 1,080 个回合、已知结果 1,033 个；仅结构检查完成的主任务多于两种基于模型的 gate-and-recovery 组合，缺失结果使确认性检验无法进行，银行比较仅为描述性。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。