rTaste：研究智能体是否具备科研品味？

研究智能体的实验排序能力尚缺乏优于简单基线的证据。

资讯摘要

论文提出 rTaste 评测，考察研究智能体能否在结果未知前判断哪些实验值得做。作者让六个前沿模型以单独或团队形式阅读七篇近期 NLP 论文，提出最小可行实验（MVE）、预测是否达标并排序，再由独立执行器完成全部 415 个 MVE，并由三个模型审计员评判。结果显示 194 个 MVE 被认为合理、有价值且新颖，但仅 73 个同时被认为超出种子论文且非显而易见；智能体首选优于随机，但未证明优于直接选论文中第一个实验，团队成本更高而提案质量无明显提升。

要点速读

1. 六个前沿模型对七篇近期 NLP 论文提出 415 个最小可行实验（MVE），并预测结果、排序。
2. 194 个 MVE 被审计为合理、有价值且新颖，其中仅 73 个同时被认为超出种子论文且非显而易见。
3. 智能体首选命中审计最看重实验的频率高于随机，但未证明优于选论文中第一个实验；团队形式成本更高且提案质量无明显提升。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。