OpenESM：能量引导模型作为可扩展基础学习器

论文提出能量引导模型 ESM，报告多数任务优于 GPT 并开源。

资讯摘要

论文提出能量引导模型（ESM），将能量引导与 token 生成整合进单一架构：先在能量景观上优化隐状态，再用精炼后的隐状态生成 token，并在大规模语料上做能量引导预训练。作者在三个大规模语料上预训练，评测覆盖 26 个下游任务，报告随模型规模与训练数据增加呈现可扩展性，且在多数任务上优于 GPT。团队已完整开源模型权重与训练基础设施。

要点速读

1. ESM 在单一架构内整合能量引导与 token 生成，先优化隐状态再生成 token。
2. 作者在三个大规模语料上预训练，并在 26 个跨领域下游任务上评测。
3. 作者报告 ESM 随模型规模和数据增加呈现可扩展性，多数任务优于 GPT，并开源权重与训练基础设施。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。