论文用统计检验证明LLM推荐结果受候选排列顺序影响。
资讯摘要
论文研究基于LLM的推荐系统中候选商品在提示中的排列顺序对推荐结果的影响，提出POB-ICM与POB-UNBP两种检测方法，并在基于真实商品目录的RAG测试台上用2000条查询、每条20种排列共4万实例进行验证。作者报告所评估的先进模型均拒绝位置独立与均匀性原假设，并引入排列敏感度、位置偏差和强位置偏差三项指标。
要点速读
- 论文提出POB-ICM（列联表分析与卡方独立性检验）和POB-UNBP（基于置换评估的均匀零模型）两种位置偏差检测方法。
- 在真实商品目录、固定提示模板和2000条模板生成查询（每条20种排列，共4万实例）的受控RAG测试台上，所评估的先进模型均拒绝位置独立与均匀性原假设。
- 作者报告偏差随候选集大小与解码温度变化仍存在，属结构性且依赖模型，并建议对部署的LLM推荐系统进行顺序随机化等审计控制。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。