DNO-Prct复现显示开源标注者也能保留大部分对齐增益。
资讯摘要
论文独立复现了直接纳什优化（DNO）的实用变体DNO-Prct，在Llama 3.1 8B Instruct和Mistral 7B Instruct v0.1上测试。以GPT-4o为标注者时，三轮迭代使AlpacaEval 2.0长度控制胜率分别从31.7%升至45.3%、从6.8%升至18.4%，调优后8B模型各项胜率均超过Llama 3.1 70B Instruct。改用同系列开源模型作标注者仍保留62%和82%的增益。消融显示移除金标回复、数据回看或仅接受教师偏好对会使胜率下降6至10个点。
要点速读
- 论文在Llama 3.1 8B Instruct和Mistral 7B Instruct v0.1上独立复现DNO-Prct，以GPT-4o或同系列更大开源模型作标注者。
- AlpacaEval 2.0以GPT-4o为评审时，三轮迭代将长度控制胜率从31.7%提至45.3%（Llama）、从6.8%提至18.4%（Mistral），调优后8B模型各项胜率高于Llama 3.1 70B Instruct。
- 消融中移除金标回复、数据回看或仅接受教师偏好对，胜率低6至10个点；每提示on-policy样本数1至7变化影响不超过2.1点，margin扫描影响不超过2.4点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。