FABench：预测智能体回测基准

论文发布可更新的预测智能体回测基准 FABench。

资讯摘要

论文提出 FABench，一个面向预测智能体的可扩展回测环境。其自动化流程可为任意历史预测日期发现事件、生成问题并判定结果，首个版本包含九个领域的 287 个问题。作者在八个近期模型构建的智能体上评估发现，检索在所有设置下均改善 Brier 分数，与 Polymarket 关联的 54 个问题上领先智能体达到市场共识水平，最佳三个略高于共识；研究轨迹显示智能体在证据权衡与应用上存在反复出现的失败。

要点速读

1. FABench 通过自动化流程为任意历史日期生成问题并判定结果，首个版本含九个领域 287 个问题。
2. 评估八个近期模型构建的智能体，检索在所有检索设置下均改善 Brier 分数。
3. 在 54 个与 Polymarket 关联的问题上，领先智能体达到市场共识，最佳三个略高于共识。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。