论文提出以单个决策为单元的科学智能体评估框架与基准。
资讯摘要
论文提出“以决策为中心的研究”(DCR),把科学智能体在证据、下一步行动和研究策略上的单个选择作为监督、预测与评估的统一单元,基于显式 Research State 做类型化预测。DCR 定义 24 种决策类型,其中 10 种在含 2000 条规则生成案例的 RD-Bench 中实例化。作者报告,0.6B 的 DCRM(状态感知)在留出研究领域划分上 Top-1 准确率为 89.4%,同配方仅看问题的版本为 27.8%,DeepSeek-V4.1-Flash 为 36.4%。
要点速读
- DCR 定义 24 种决策类型,RD-Bench 含 2000 条规则生成案例,实例化其中 10 种。
- DCRM 通过跨类型共享候选 token 读出,在一次前向中给出答案与选项概率。
- 作者报告 0.6B 状态感知 DCRM 的 Top-1 准确率为 89.4%,仅问题版本为 27.8%,DeepSeek-V4.1-Flash 为 36.4%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。