同一批意见重复生成提案,分配结果会不稳定地变化。
资讯摘要
论文考察LLM将公民意见转化为集体提案时的稳定性问题,使用DeliberationBank与Polis的意见数据,测试三个开放权重模型和一个商业模型。作者报告:在五次重复生成中,开放权重模型有17%、商业模型有20%的组别出现部分运行含分配、部分不含分配的情况;仅改变意见顺序造成的分配变化几乎与更换意见来源相当。温度设为零、选用商业模型、草稿筛选与合并四项措施均未能消除显著差异。
要点速读
- 每个任务由调解模型基于三十条意见起草提案五次,分别改变随机种子或意见顺序。
- 开放权重模型17%、商业模型20%的五次运行组中出现分配有无不一致;重排意见与更换意见造成的分配变化频率接近。
- 三名人工标注者确认运行间差异真实存在,但LLM评判者高估了差异出现频率;追求共识的提示比描述分歧的提示更少覆盖少数立场。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。