整体相似度会高估多语言模型推理轨迹的一致性。
资讯摘要
论文提出轨迹级差异框架，将多语言大模型的可见推理轨迹作为结构化序列比较，拆分为结构相似度、顺序一致性和整体相似度，并进行配对校准。作者在三个推理基准、七种语言和六个前沿模型上发现，整体嵌入相似度会系统性高估一致性：整体相似度前四分之一的样本中，有52.1%–67.3%并不在结构相似度前四分之一。双语盲标注显示，人类判断更贴近结构相似度。
要点速读
- 论文提出轨迹级差异框架，从结构相似度、顺序一致性和整体相似度三个维度比较可见推理轨迹。
- 在三个推理基准、七种语言、六个前沿LLM上，整体相似度前四分之一的样本中有52.1%–67.3%不在结构相似度前四分之一。
- 两组以英语为锚点的双语盲标注显示，人类判断与结构相似度一致，而非整体相似度基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。