论文提出梯度层面的偏好优化算法 Suan，用于安全对齐。
资讯摘要
论文提出一种名为 Suan 的偏好优化算法，用于改善大语言模型的安全对齐。作者指出，开放权重模型经后训练后常出现过度拒答和通用质量下降，而专有系统的安全方法未公开。Suan 将优化目标直接建立在梯度层面，绕过常规变分推导，作者称由此获得更可解释、更稳健的训练动态。论文报告在多种基线对比和基准测试中，Suan 在提升安全对齐的同时保持了回答的实用性。
要点速读
- 论文提出偏好优化算法 Suan，将优化目标直接建立在梯度层面，绕过标准变分推导。
- 作者称该做法带来更可解释、更稳健的训练动态。
- 论文报告在多种基线对比和基准测试中，Suan 在提升安全对齐的同时保持了回答实用性。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。