论文称训练数据中单次事实比例是影响LLM科学发现的关键因素。
资讯摘要
一篇论文研究大语言模型科学发现能力与训练数据的关系，提出以“缺失概率质量”为视角的理论解释，认为训练中仅出现一次的“单次事实”（monofact）决定发现能力。作者在材料科学与调控基因组学中直接调整训练集的单次事实比例，发现比例越高，两个开放权重模型家族、不同采样策略与推理预算下的发现越多；该关系不能仅由训练集多样性解释，且搭配领域内数据时可跨科学领域迁移。
要点速读
- 论文提出“单次事实”概念，指训练集中仅出现一次的事实，并将其与模型的科学发现能力关联。
- 在材料科学和调控基因组学中直接操纵训练集单次事实比例，两个开放权重模型家族均显示比例越高发现越多。
- 作者报告该关系无法仅用训练集多样性解释，且在与领域内数据搭配时可跨科学领域迁移。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。