LLM 跨题错误结构多来自共享种子、提示与答案字母偏好。
资讯摘要
论文分析大语言模型跨题错误的相关结构，用题目相关矩阵特征值检验。作者报告：同一模型内独立抽取的答案无可检测结构；当整轮基准共享随机种子或少样本提示时结构出现。24 个模型中，超出整体能力的最大结构是对答案字母的偏好，选项轮换后偏好跟随字母而非题目，且主要依赖 Llama-3.2-1B；去除后仅剩较小超额。仅当每题在所有轮换中均正确才算对，可消除作用于猜测的部分，剩余为 5% 线上的边际超额，事后关联到两对近重复模型和 Llama-3.2-1B。
要点速读
- 论文用题目相关矩阵特征值检验跨题错误结构，发现独立抽取答案时无可检测结构。
- 共享随机种子或少样本提示时出现结构；24 个模型中最大结构是答案字母偏好，主要依赖 Llama-3.2-1B。
- 按所有轮换均正确计分可去除猜测部分，剩余为 5% 线边际超额，事后关联近重复模型对与 Llama-3.2-1B。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。