PrefO2O：离线到在线潜在偏好迁移实现零样本偏好强化学习

PrefO2O 用离线偏好迁移实现无需人类反馈的零样本 PbRL。

资讯摘要

论文提出 PrefO2O，一种离线到在线的潜在偏好迁移框架，目标是在未见目标任务上实现无需人类反馈的零样本偏好强化学习。作者从少量源任务离线偏好数据中学习任务不变的潜在偏好空间，将可迁移偏好结构与任务特定变化解耦，并借助置信度加权最优传输对齐生成伪偏好监督，用于在线奖励适配。作者报告在机器人操作与运动基准上优于现有偏好迁移基线，并匹配或超过使用真实人类反馈训练的 PbRL 方法。

要点速读

1. 论文提出 PrefO2O，从源任务少量离线偏好数据学习任务不变的潜在偏好空间，实现零样本 PbRL。
2. 方法用置信度加权最优传输对齐生成伪偏好监督，支持在线奖励适配。
3. 作者报告在机器人操作与运动基准上优于偏好迁移基线，并匹配或超过使用真实人类反馈的 PbRL 方法。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。