面向LLM对齐的排序感知差分隐私列表偏好发布

论文提出RAEM，在LDP下发布列表偏好并优于基线。

资讯摘要

论文关注LLM对齐中列表式偏好反馈在本地差分隐私（LDP）下的发布问题，指出完整排序空间敏感度高、需注入过多噪声，会抵消列表监督的优势。作者提出排序感知指数机制（RAEM），利用排序信息采样固定大小的二元划分，把噪声集中在边界条目而非均匀扰动全部条目。论文报告在下游LLM对齐任务中，相同隐私预算下该机制持续优于现有LDP基线，代码已开源于GitHub。

要点速读

1. 论文指出列表式偏好比成对比较提供更丰富监督，但完整排序会暴露更多敏感用户偏好，列表式对齐在LDP下此前未被探索。
2. 作者提出排序感知指数机制RAEM，通过排序信息采样固定大小二元划分，将噪声集中在边界条目。
3. 论文报告在匹配隐私预算下，RAEM在下游LLM对齐任务中持续优于现有LDP基线，代码已在GitHub公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。