OLGA 用模型自身预测做梯度匹配，实现无标签持续训练蒸馏。
资讯摘要
论文提出 OLGA，用模型自身的下一词预测作为梯度匹配目标，从而在无标签数据上蒸馏样本。作者报告在 phi-1.5 的五个文本分类基准上，仅用五个样本即比最强选择基线提升 10 个百分点；在线场景下以合成样本维护回放记忆，流式 AUC 比最强选择式持续学习基线高 6.6 个百分点；混合蒸馏与选择流程相比单独蒸馏减少 30% 运行时间。
要点速读
- OLGA 以模型自身下一词预测作为梯度匹配目标，无需真实标签即可蒸馏无标签数据。
- 在 phi-1.5 的五个文本分类基准上，仅用五个样本即比最强选择基线提升 10 个百分点。
- 在线设置中维护合成样本回放记忆，流式 AUC 比最强选择式持续学习基线高 6.6 个百分点；混合流程相比单独蒸馏减少 30% 运行时间。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。