论文用ProClaim-eval评测递归证据状态对科学主张验证的作用
资讯摘要
论文研究科学智能体递归构建知识时的两个设计维度:递归构建的证据状态,以及控制递归何时停止的判定器。作者定义“共识科学主张验证”任务,构建含718条SUPPORT/REFUTE金标主张的数据集ProClaim-eval,覆盖分子生物学、核物理与天文学。其系统ProClaim将证据状态保存在模型上下文之外,在对比中位列前三,显著优于通用智能体框架;作者报告结构化证据状态优于上下文内累积,训练过的判定器优于固定轮数停止。
要点速读
- 论文提出ProClaim-eval数据集,含718条带SUPPORT/REFUTE金标的主张,来自五个专家整理数据库,覆盖分子生物学、核物理和天文学。
- ProClaim把证据状态持久化在模型上下文之外,便于固定一个维度、单独研究另一个维度;与验证系统和通用智能体框架对比,排名前三,并显著优于这些框架。
- 作者报告证据状态优于上下文内累积,且其中存储什么内容也有影响;单独训练、未接触ProClaim-eval的判定器在五个子集中的三个上与金标一致率最高,与Claude Sonnet 4.6判定器相当,优于Claude Haiku 4.5。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。