新基准测试代理检索并读取扫描财务档案的能力，最好成绩仅 64.8%。
资讯摘要
论文提出 TreasuryQA Bench，用于评测 AI 代理在扫描版财务档案中检索并读取数据的能力。基准包含 70 道题，覆盖 1,435 份美国财政部扫描出版物，代理需通过 Dropbox 的 MCP 服务器查找文件，再用 OCR 工具读取页面并给出精确数字。作者报告十个代理中表现最好的 Claude Opus 5.5 在 Claude Code 中解决 64.8% 的尝试，最差的 GPT-5.6 Terra 在 Codex 中为 16.7%；扫描越模糊，各代理成功率越低，多数失败是数字误读。
要点速读
- 基准含 70 道题，覆盖 1,435 份美国财政部扫描出版物，代理需经 Dropbox MCP 服务器检索文件并用 OCR 读取页面。
- 作者报告十个代理的结果：Claude Opus 5.5 在 Claude Code 中解决 64.8%，GPT-5.6 Terra 在 Codex 中解决 16.7%。
- 所有代理在更模糊的扫描件上成功率更低，多数失败回答给出错误数字，最常见原因是数字误读。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。