论文提出用学习权重组合提示级拒绝方向来操控模型拒绝行为。
资讯摘要
论文研究对齐语言模型的拒绝行为是否可通过学习组合提示级拒绝方向来强化，提出加权拒绝方向优化（WRDO），用学习到的聚合权重从逐提示方向库构建复合拒绝方向，使不同有害提示对最终干预方向贡献不等。作者在三个开放权重模型上以三个守卫评判器和 HarmBench 外部评估器对比此前单方向方法，并用标准效用基准测量对通用能力的影响，还反向使用同一优化机制在 abliterated 检查点上恢复拒绝行为。
要点速读
- 论文提出 WRDO，用学习到的聚合权重从逐提示方向库构建复合拒绝方向，替代差异均值单方向。
- 在三个开放权重模型上，以三个守卫评判器和 HarmBench 作为外部评估器与单方向方法对比。
- 作者报告加权聚合是更有效、更灵活的拒绝表征操控机制，并探索反向恢复拒绝行为。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。