LLM能找对研究方向，却难以给出社区实际采用的具体方案。
资讯摘要
论文提出IdeaTaste基准，用2025年冻结的文献快照让LLM撰写研究提案，再与同一社区2026年实际发表的论文比对，以衡量其“研究品味”。实验覆盖六个当代语言模型和四个研究领域，共生成逾9万份提案。作者报告：LLM在引用匹配上约为人类水平的26%，在想法匹配上仅18%；即便提供更丰富的领域上下文或扩大群体规模，差距也未明显缩小。盲审专家认为AI提案在呈现上差距最小，在预期成功率上差距最大。
要点速读
- IdeaTaste以2025年文献快照生成提案，与2026年真实发表论文比对评分。
- 实验覆盖六个语言模型、四个研究领域，共逾9万份提案。
- 作者报告引用匹配约26%、想法匹配约18%，且更丰富上下文或更大群体规模未显著缩小差距。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。