论文用回弹力与驱动力分解解释微调为何逆转对齐。
资讯摘要
论文提出一个可计算的对齐分数，并推导其在微调中的闭式更新，将参数空间学习动力学与函数空间对齐行为统一起来。分析把对齐更新分解为受当前对齐状态与模型分布狭窄度共同影响的“回弹力”，以及由训练分布与结果条件后验匹配程度决定的“驱动力”，用以解释既有对齐为何会被后续微调逆转。作者报告在安全对齐、涌现性失配和情感设置中验证了预测，并观察到“排练启动效应”。
要点速读
- 论文提出可计算的对齐分数并推导微调中的闭式更新，形成统一的对齐动力学框架。
- 对齐更新被分解为回弹力与驱动力，前者受当前对齐状态和模型分布狭窄度影响，后者取决于训练分布与结果条件后验的匹配。
- 作者报告在安全对齐、涌现性失配和情感设置中验证了对齐逆转与再暴露后的加速再对齐，安全对齐对照实验支持回弹强度依赖后验狭窄度。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。