实例顺序可系统性影响LLM多实例聚合预测的准确率。
资讯摘要
论文研究大语言模型的多实例处理（MIP）任务：模型需为每个实例推断二元标签并找出出现最频繁的标签，正确答案本应与实例顺序无关。作者在五个数据集、七种实例顺序模式下评测十五个模型，发现准确率在最佳与最差顺序间可相差约90个百分点，多数标签实例出现在开头时通常更准确。部分模型的推理轨迹与梯度归因显示，模型对首尾位置关注更高、对中间位置关注较低。
要点速读
- 论文在五个数据集、七种顺序模式下评测十五个LLM，同一实例集在不同顺序下准确率可相差约90个百分点。
- 模型在多数标签实例位于开头时通常比位于中间或末尾时更准确。
- 部分模型的推理轨迹更多提及靠前实例，梯度归因分数在开头和结尾附近一般高于中间。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。