音频偏好评估需按模态单独设计，不能直接沿用文本协议。
资讯摘要
论文针对偏好强化学习（PbRL）数据评估协议仅面向文本设计的问题，开展首个基于组内相关系数（ICC）的受控跨模态研究，比较同一语义内容在100条提示下文本与音频的人类及合成偏好标注。作者报告，两种模态内达到良好一致性（ICC(2,k)≈.80）均需约9名评分者；音频评分者决策阈值更窄、长度偏差更小、更偏向用户导向标准，跨模态一致性接近随机。论文还提出合成评分可预测评分者间一致性，用作刺激筛选的早期信号与人类标注的代理。
要点速读
- 研究覆盖100条提示，对相同语义内容的文本与音频版本进行人类和合成偏好标注对比。
- 论文报告两种模态内达到ICC(2,k)≈.80均需约9名评分者，跨模态一致性接近随机水平。
- 作者称合成评分可有效预测评分者间一致性，可作为刺激选择信号和人类标注代理。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。