NumTrace：审计金融分析智能体的数字溯源

新基准显示金融智能体常出现数字对但科目错的问题。

资讯摘要

论文提出 NumTrace 基准，用于审计金融分析智能体每条数值声明的来源与财务语义，覆盖 540 个问题、2163 份 SEC EDGAR 文档，并按会计规则构建参考答案。它分别给出数值、绑定与支持三项判定，以识别“数字对、科目错”（RNWA）错误。作者审计 Claude Opus 5.5、GPT-6 Astra 与 DeepSeek-V4.1-Flash，称 RNWA 错误占各智能体失败声明的 67.5%–81.8%。

要点速读

1. NumTrace 对每条数值声明分别给出 value、binding、support 三项判定，通过 value 通过但 binding 失败识别 RNWA 错误。
2. 基准含 540 个问题、2163 份 SEC EDGAR 文档，作者称其为首个针对 Form 13F 持股与 Item 402(i) 高管薪酬的数值基准。
3. 作者报告 RNWA 错误占三个智能体失败声明的 67.5%–81.8%；在 13F 联合申报组问题上约 91% 声明通过数值检查，但通过绑定检查的不足一半。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。