Astro2Method：评估LLM为天文问题选择机器学习方法的能力

LLM 选天文 ML 方法在难题上准确率仅约六成，检索与智能体帮助有限。

资讯摘要

论文提出 Astro2Method 基准，从 346 篇 2024 年 1 月至 2026 年 6 月的天文学论文中整理出 500 道经专家审核的二分类问题，考察大模型能否为科学问题选出合适的机器学习方法。作者报告，五个模型在 Easy 题上直接提示准确率为 87.50%–92.55%，Hard 题仅 58.87%–64.52%；检索增强与 ReAct、Self-Ask、CRITIC 等智能体方法未带来稳定提升。

要点速读

1. 基准含 500 道专家审核二分类题，来自 346 篇天文学论文，按作者解释完整与否分为 Easy 和 Hard。
2. 五个 LLM 直接提示在 Easy 题准确率 87.50%–92.55%，Hard 题降至 58.87%–64.52%。
3. RAG 与多数推理/检索智能体方法无稳定提升；提供遮蔽方法名的原论文流程描述可提升 Hard 准确率，效果与联网搜索相当或更好。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。