论文发现聊天机器人政策判断总体稳健，但服务变更会悄然改变结果。
资讯摘要
论文通过消费级聊天界面测试聊天机器人对公共事务判断的稳健性：30天内让五种配置（Mistral、Gemini Flash、Claude Sonnet、Claude Opus两种努力设置）每天两次为40项近四届总统行政行为和15项假设改革打分，并给出置信度与简短评论。作者报告各配置对政府平均分的符号与排序一致，同日两个配置对同一行为给出相反符号约4%；不同日期回答差异更大但月内增长缓慢，服务自身变更除外，并识别出三次无明显界面痕迹的判断偏移。评论被视为检索任务，具有条目特异性且跨运行、跨聊天机器人一致。数据集含16500条判断已发布。
要点速读
- 五种聊天机器人配置在30天内每天两次为40项总统行为和15项假设改革打分，共16500条判断。
- 作者报告所有配置对政府平均分的符号和排序一致，同日不同配置对同一行为给出相反符号约4%。
- 识别出三次服务自身变更导致判断偏移，且界面几乎无痕迹；评论跨运行和跨聊天机器人一致。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。