用户自述偏好与AI回答实际奖励特征的关系

用户自述偏好难以预测其评分时实际看重的具体特征。

资讯摘要

论文基于公开PRISM数据集，比较1,396名参与者自述的七项回答属性重要性与他们对21个LLM共29,347条回答的评分。作者报告，同一提示下，长度、格式、拒绝措辞等调查未问及的特征与评分的关联至少不弱于所调查属性的文本代理；自述优先级与评分是否一致取决于测量方式，书面反馈比问卷更能反映对长度的实际权重，且个人信息带来的预测提升有限。

要点速读

1. 研究使用PRISM数据集：1,396名参与者报告七项回答属性的重要性，并评分21个LLM的29,347条回答。
2. 作者报告，长度、格式和拒绝语言等未被调查的特征，与评分的关联至少与所调查属性的文本代理一样强。
3. 参与者若在对话中要求更短回答，评分时对长度的权重更低；但自述的相对优先级无法预测这一权重。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。