论文提出差分隐私稀疏奖励估计框架，误差界随稀疏度而非模型维度增长。
资讯摘要
论文研究隐私保护 RLHF 中的稀疏奖励估计问题，假设人类偏好仅由 s*≪d 个相关特征决定，在 Bradley-Terry-Luce 模型下首次给出差分隐私稀疏奖励估计的理论框架，并针对 Sample-DP 与 Label-DP 两种设定提出算法。作者报告了平方 ℓ₂ 误差上界，并称 Sample-DP 速率接近最优；在情感生成与安全对齐基准上，该方法较稠密基线取得更好的隐私-效用权衡。
要点速读
- 论文在 Bradley-Terry-Luce 模型下研究差分隐私稀疏 RLHF，假设奖励由 s*≪d 个相关特征决定。
- 作者给出 (ε,δ)-Sample-DP 与基于随机响应的 ε-Label-DP 的平方 ℓ₂ 误差上界，并称 Sample-DP 速率接近最优。
- 在情感生成与安全对齐基准上，作者报告该方法优于稠密基线，隐私-效用权衡更有利。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。