随机剪枝DPO计算图可提速约1.4倍并降低峰值内存。
资讯摘要
论文提出对DPO计算图进行随机剪枝的统一框架，在评分、序列执行和反向传播前分别采样响应位置、响应前缀和偏好分支，从而跳过相应计算。作者用逆概率加权得到条件无偏的单分支梯度估计，并分析剪枝对目标函数的影响。受控测量显示，位置与序列剪枝主要降低峰值内存，分支剪枝相对拼接式DPO基线实现1.426倍单步加速，在两个模型家族上训练时间约减少30%，但平均准确率略低，开放式评分随基准不同而变化。
要点速读
- 框架在评分、执行和反向传播前分别采样响应位置、响应前缀和偏好分支，以省略各阶段计算。
- 作者用逆概率加权构造条件无偏的单分支梯度估计，并分析位置与序列剪枝带来的目标变化。
- 分支剪枝相对拼接式DPO基线单步加速1.426倍，训练时间约减少30%，但平均准确率略低。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。