语义标注缓解后训练模式坍缩

论文提出用语义标注锚定训练，缓解后训练导致的多样性坍缩。

资讯摘要

论文指出，监督微调虽能提升指令遵循能力，却会因偏向低熵微调数据而引发语义模式坍缩，且该问题随模型规模扩大而加剧。作者提出 annotation-anchored training：预训练时让文档与语义标注配对，形成覆盖预训练数据全貌的标注分布，并在后训练中保留该分布，推理时采样多样标注作为锚点引导生成。作者报告，该方法训练的模型多样性坍缩比 SFT 模型少 6 倍，且随规模提升而改善。

要点速读

1. 论文发现监督微调会偏向低熵微调数据，造成语义模式坍缩，且该权衡随规模变差。
2. 提出 annotation-anchored training，在预训练与后训练中保留丰富的语义标注分布，推理时用采样标注作锚点引导生成。
3. 作者报告该方法比 SFT 模型的多样性坍缩少 6 倍，并随规模扩大而改善。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。