大语言模型设计综述：从Transformer到GPT-5

综述论文梳理大模型演进，并称架构与数据质量的平衡影响推理稳定性。

资讯摘要

一篇 arXiv 综述论文对 BERT、GPT、Gemini、Claude、Grok 等大语言模型做了分类梳理，涵盖训练数据集、算力与硬件规格、架构与参数规模，并讨论局限、计算挑战和开放问题。作者报告称，在架构复杂度与数据质量之间取得更优比例的模型，推理稳定性和对齐表现更好，且算力负担未按比例增加。

要点速读

1. 论文按时间线梳理从 BERT 到 GPT、Gemini、Claude、Grok 等大语言模型的演进，并给出分类。
2. 内容涉及训练数据集、训练算力、硬件规格、架构与参数规模，以及局限和开放问题。
3. 作者报告：优化架构复杂度与数据质量比例的模型，推理稳定性和对齐更好，算力未按比例上升。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。