TPO用三层分布鲁棒框架应对OOD偏好偏移，并给出收敛保证。
资讯摘要
论文指出DPO默认训练偏好分布与部署分布一致，但实际存在群体、提示和偏好三个层面的分布偏移。作者提出TPO，用分层矩形模糊集同时建模三层不确定性，并以Wasserstein距离实例化，得到由偏好层边际惩罚、提示层对抗嵌入扰动和最坏情况群体重加权组成的可解目标，各由独立半径控制。论文给出有限样本收敛保证，并在多种OOD环境中报告了有效性验证。
要点速读
- 论文将OOD偏好偏移分为群体级、提示级和偏好级三层，指出现有鲁棒DPO方法多只处理单一来源或联合分布不确定性。
- TPO通过分层矩形模糊集联合建模三层不确定性，并用Wasserstein距离导出可处理的目标函数。
- 作者报告了有限样本收敛保证，并在多种OOD环境中进行实证验证。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。