OnQ：用自生成轨迹恢复量化模型推理能力

OnQ 用自生成轨迹蒸馏恢复低比特模型推理能力

资讯摘要

论文提出 OnQ 低比特量化恢复流程，结合 on-policy 蒸馏与候选级 Dynamic KL。作者指出固定响应监督存在训练前缀与学生生成前缀不匹配，且学生在高熵前缀上对候选词概率预测偏差更频繁。OnQ 让量化学生模型在自身前缀上生成响应并接受全精度教师监督，Dynamic KL 按教师-学生概率比加权正反向 KL。作者报告在 Qwen3-1.7B、4B、8B 的 2/3 比特设置下取得九项基准最高平均分，2 比特时各模型规模各基准均优于基线，Qwen3-8B 平均提升 10.26 分，响应更短、截断与重复错误更少。

要点速读

1. 论文指出固定响应监督导致训练前缀与学生生成前缀不匹配，轨迹偏差随响应变长而扩大。
2. OnQ 采用 on-policy 蒸馏，量化学生在自身前缀上生成并由全精度教师监督，Dynamic KL 按候选概率比加权正反向 KL。
3. 作者报告在 Qwen3-1.7B/4B/8B 的 2 比特与 3 比特设置下九项基准平均分最高，2 比特时 Qwen3-8B 平均较最强基线提升 10.26 分。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。