论文提出评估科研智能体动作构建的 reading-set 框架与数据集。
资讯摘要
论文关注长周期科研智能体的动作构建问题：仅评估智能体选择哪个动作，无法确定其指令具体指定了哪项实验，遗漏的干预或重复次数会把关键选择留给执行者。作者提出 reading-set 框架，在统一成本规则下评估动作构建，并构建含 60 个场景的研究动作评估数据集。作者报告，在 30 个合成状态上，完整设计请求相对动作名称基线的可负担效率分别提升 465.98% 和 327.91%；该数据集上场景级信息每成本指标与 18 名人类判断的平均场景内相关性为 0.733。
要点速读
- 论文提出 reading-set 框架，在统一成本规则下评估科研智能体的动作构建，使设计规格与执行歧义可度量。
- 在 30 个合成状态上，完整设计请求相对动作名称基线的可负担效率在两个模型家族中分别提升 465.98% 和 327.91%。
- 作者构建含 60 个场景的研究动作评估数据集，场景级信息每成本指标与 18 名参与者判断的平均场景内相关性为 0.733。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。