潜意识强化学习：特质可经评审打分传递

评审打分本身可把偏好特质传给被训练模型

资讯摘要

论文研究潜意识学习在强化学习后训练中的传递路径：学生模型只依据自身输出和语言模型评审的分数学习，写出无意义音节或数字，若评审被设定偏好某种动物，学生的偏好会相对另一评审条件向该动物偏移。48 个设计单元中 2 个未通过有效性门槛，17 个在 5% 错误发现率下确立特质，含纯数字单元。作者将机制归纳为四阶段链条，并称该链条可延伸至 AI 安全倾向。

要点速读

1. 学生仅从自身输出与评审分数学习，评审偏好即可影响学生偏好
2. 48 个设计单元中 17 个在 5% 错误发现率下确立特质，2 个未通过有效性门槛
3. 仅去除评审间奖励差异即可消除传递；作者提出四阶段链条解释机制

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。