论文用专家报告构建类型级评分标准，评估深度研究智能体的分析完整性。
资讯摘要
论文提出 RubricAtlas，从同一研究类型下不同对象的专家报告中提炼类型级分析要求，围绕反复出现的分析问题组织细粒度检查，用于评估深度研究智能体的输出。该框架基于 3,079 份中文金融研究报告构建，覆盖 99 种研究类型，将二元检查点与报告段落关联，并把完整性与论证有效性分开评估。作者报告，单份报告仅覆盖其类型约一半的分析问题，选取不同报告的要求会改变评分与智能体排名。
要点速读
- RubricAtlas 从 3,079 份中文金融研究报告提炼类型级评分标准，覆盖 99 种研究类型。
- 实验显示单份参考报告仅覆盖其类型约一半的分析问题，换用不同报告会改变评估分数与智能体排名。
- 两条评审流程的检查点一致性为 κ=0.71，智能体排名一致性为 Kendall τ=0.87；受控删除会降低对应分析得分，填充内容未带来可检测的提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。