法律多选题基准的“仅选项可解性”研究

法律多选题仅凭选项即可被部分模型答对，且该信号难以跨模型迁移。

资讯摘要

论文在UA-JudgeExam（11,990道四选项法律题）上测量“仅给选项、不给题干”时的答题表现：Claude Haiku 4.5得0.383，高于随机水平，且11.8%的题目在八种选项顺序下均被盲答正确。作者用该模型筛除这些题目后保留8,128题，未参与筛选的GPT-5.6在隐藏题干时仍答对0.515。对18个模型的测试显示，扣除位置偏好后，GPT-5.6、Gemini 3.1 Pro等仍存在明显超额。

要点速读

1. 论文在UA-JudgeExam上仅展示选项、隐藏题干，Claude Haiku 4.5得分0.383，11.8%题目在八种选项顺序下均被盲答正确。
2. 用该模型筛除后保留8,128题，未参与筛选的GPT-5.6在隐藏题干时仍答对0.515。
3. 扣除位置偏好后，GPT-5.6（+0.265）、Gemini 3.1 Pro（+0.240）等四个模型仍有明显超额；LEXam上同类探测仅达随机水平。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。