对比长短解剪枝可让推理模型少用思考 token 且准确率基本不变。
资讯摘要
论文指出权重剪枝与思维链压缩会相互干扰：剪枝会在模型仍能解决的问题上引入冗余推理，在无法解决的问题上产生不完整推理，并使后续长度偏好优化更难压缩。作者提出 Contrastive Set-Difference（CSD），通过对比同一问题长、短正确解上的神经元激活，识别并优先剪除冗余推理相关神经元，同时把偏好对扩展到剪枝模型总能或从不能解决的问题。在 DeepSeek-R1-Distill-Qwen-7B 上剪枝 20% 后，组合方法在四个数学基准上比 RAC 剪枝加同样压缩少用 8–22% 思考 token，准确率差距在 0.5 分以内。
要点速读
- 论文提出 CSD 方法，对比同一问题长、短正确解上的神经元激活，优先剪除冗余推理相关神经元。
- 作者将偏好对扩展到剪枝模型总能或从不能解决的问题，以补足压缩训练信号。
- 在 DeepSeek-R1-Distill-Qwen-7B 上剪枝 20%，四个数学基准思考 token 减少 8–22%，准确率差距不超过 0.5 分。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。