新基准用模拟研究者画像评测科学智能体的协作表现。
资讯摘要
论文提出 PersonaScienceBench，用于评测科学智能体与不同研究者协作的能力。该基准包含来自五个基准、覆盖四个科学领域的 200 个任务，模拟研究者按 persona 画像提供背景与反馈，任务目标与评分保持不变，智能体只能通过对话获知研究者偏好。作者报告在十八种模型配置下，任务表现、事实恢复与自我重复呈现不同优势，并给出 GPT 6 Astra 的详细分析。
要点速读
- 基准含 200 个任务，来自五个基准、覆盖四个科学领域。
- 模拟研究者按 persona 画像提供背景与反馈，任务目标与评分固定，偏好仅通过对话传递。
- 作者报告十八种模型配置在任务表现、事实恢复与自我重复上各有优势，并分析 GPT 6 Astra 在不同研究者画像下的行为差异。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。