回到最新动态
研究论文 / THE SIGNAL

Jev式System One模型能否降低选择偏差

Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias?

重要性 5.5 AI 辅助整理

Jev式模型准确率稳定,但换序后累计失败集扩大27%–29%。

资讯摘要

论文考察Jev式System One模型是否因决策结构而减少选择偏差。作者用打乱选项顺序、固定题目与候选内容的测试,比较两个Jev版本、十二个Jev复现模型和六个生成式LLM,追踪同一答案在八种呈现下的表现。结果显示,Jev准确率变化不足两个百分点,但累计失败集比原始顺序扩大27%–29%,初始正确项在后续呈现中丢失,且未普遍优于LLM基线;投票收益有限,全票一致也常出错。

要点速读

  1. 测试覆盖2个Jev版本、12个Jev复现模型和6个生成式LLM,主数据集为两个基准的1700道题。
  2. Jev准确率波动小于2个百分点,但累计失败集相对原始顺序扩大27%–29%。
  3. 作者报告Jev在保持正确选择上未普遍优于LLM基线,投票仅带来有限增益,全票一致答案也常错误。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开