长上下文问答中的证据位置偏差：不同序列混合器对比

证据位置偏差因架构、能力、任务与提示而异，序列混合器并非唯一原因。

资讯摘要

论文比较 Transformer、状态空间与混合 Mamba 架构在长上下文问答中的证据位置偏差：将一份金标文档在九个干扰文档间移动。作者报告，所评估的 Transformer 表现出开头优势，而状态空间模型没有，但两类模型都偏好靠近末尾的证据；纯 Mamba 与混合 Mamba 的对照方向一致但统计上不确定。提示词改动可产生或几乎消除开头优势，位置信息在各架构中仍可解码。

要点速读

1. 实验将一份金标文档在固定九个干扰文档间移动，比较 Transformer、状态空间与混合 Mamba 的证据位置偏差。
2. 所评估的 Transformer 显示开头优势，状态空间模型未显示；两类模型都偏好靠近末尾的证据。
3. 纯 Mamba 与混合 Mamba 的匹配对照方向一致但统计不确定；提示词变化可产生或几乎消除开头优势。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。