ZeroGraph 把跨深度语义依赖从在线优化转为持久数据监督。
资讯摘要
论文提出 ZeroGraph，一种面向预训练模型转换与蒸馏的系统变换：把冻结教师模型连贯的边界轨迹物化为带版本的数据集，使各分块用互不共享的参数、优化器状态、随机状态和检查点独立训练，以持久监督替代跨深度的在线依赖。作者报告，在 GPT-2 Large 上无锚定目标虽将去噪误差降低 99.44%，但组装后留出集交叉熵从 3.63 恶化到 10.48；TinyLlama 六组实验显示干净的教师边界回归是可行接口，该方案在三个 Qwen2.5-1.5B 种子及 3.086B Qwen2.5 模型上通过质量与上下文使用门槛。
要点速读
- ZeroGraph 将冻结教师的边界轨迹物化为版本化数据集，各分块训练使用不相交的参数、优化器状态、随机状态与检查点。
- GPT-2 Large 上无锚定目标使去噪误差降低 99.44%，但组装后留出集交叉熵由 3.63 升至 10.48，上下文使用变为负值。
- 缓存与在线目标在目标匹配比较中逐位相同；缓存构建耗时 618.31 秒，在 16 次复用测量内未实现墙钟时间回本。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。