Jev式模型准确率稳定,但换序后累计失败集扩大27%–29%。
资讯摘要
论文考察Jev式System One模型是否因决策结构而减少选择偏差。作者用打乱选项顺序、固定题目与候选内容的测试,比较两个Jev版本、十二个Jev复现模型和六个生成式LLM,追踪同一答案在八种呈现下的表现。结果显示,Jev准确率变化不足两个百分点,但累计失败集比原始顺序扩大27%–29%,初始正确项在后续呈现中丢失,且未普遍优于LLM基线;投票收益有限,全票一致也常出错。
要点速读
- 测试覆盖2个Jev版本、12个Jev复现模型和6个生成式LLM,主数据集为两个基准的1700道题。
- Jev准确率波动小于2个百分点,但累计失败集相对原始顺序扩大27%–29%。
- 作者报告Jev在保持正确选择上未普遍优于LLM基线,投票仅带来有限增益,全票一致答案也常错误。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。