自我奖励训练提升顺序一致性，却不等于道德判断有效。
资讯摘要
论文提出一种自我评判的强化学习训练方法：从强语言模型初始化策略，在遮蔽思考的自我评判锦标赛中，由策略自身成对评判生成论证的质量并给予奖励。作者从经典小说提取真实道德困境，用逻辑求解器验证冲突成立。结果显示，该评判器对论证质量的评分与人类标注者一致，策略随后采用其奖励的语言风格；在 MoralChoice、ELEPHANT、MORABLES 上更果断且对选项顺序不敏感，但谄媚与重新框定仍威胁有效性。作者结论是：一致性不等于有效性。
要点速读
- 方法：以自我评判的论证质量锦标赛做强化学习，训练时遮蔽思考过程。
- 数据：从经典小说提取道德困境，并用逻辑求解器验证其构成真实冲突。
- 结果：外部基准上更果断、对选项顺序更稳健，但谄媚和重新框定问题仍在。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。