T2D：面向高效投机解码的目标模型剪枝与适配

T2D 用延迟感知剪枝加蒸馏，从目标模型直接造草稿模型。

资讯摘要

论文提出 T2D 框架，将草稿模型设计视为优化问题，直接从目标模型出发，通过延迟感知的结构化剪枝与知识蒸馏构建草稿模型，同时优化实测推理延迟与目标模型响应上的交叉熵损失。作者报告在多领域基准和多个不同规模目标模型家族上，T2D 最多剪去目标模型 92% 的参数即可得到高性能草稿模型，且所得草稿模型可被其他投机解码方法即插即用。

要点速读

1. 论文将草稿模型设计形式化为优化问题，联合优化推理延迟与交叉熵损失。
2. 作者报告 T2D 最多剪去目标模型 92% 的参数，得到高性能草稿模型。
3. T2D 产出的草稿模型可被其他投机解码的 token 对齐与知识蒸馏方法即插即用。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。