CSD：面向跨分词器知识迁移的公共支撑蒸馏

CSD 用统一目标实现跨分词器 logits 蒸馏并报告更优结果。

资讯摘要

论文提出 Common-Support Distillation（CSD），一种统一的 logits 蒸馏框架，用于跨分词器知识迁移。它在每个对齐的输入片段上构建师生共享支撑，一对一场景用显式公共 token 对，其他场景用自回归链式法则构造虚拟支撑，并以残差事件保留支撑外概率质量以保持归一化。作者报告在 Llama-3.2-1B、Gemma3-1B-PT 学生与 Qwen、Phi 教师的四组设置中平均表现最优，最高超出最强对比方法 1.8 分。

要点速读

1. CSD 在每个对齐输入片段上构建师生共享支撑，用单一目标匹配诱导分布，避免针对分词器对的手工目标选择。
2. 一对一对齐使用显式公共 token 对；其他对齐用自回归链式法则构造虚拟支撑，并用残差事件保证分布归一化。
3. 作者报告在四组师生设置中平均表现最优，最高超出最强对比方法 1.8 分；Llama-3.1-8B 基座学生最高提升 4.2 分。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。