论文发现LLM相似度评分受位置与上下文等因素影响。
资讯摘要
该论文提出一个可扩展的多因素实验框架，用于系统探测LLM在成对文档比较中对细微语义变化的敏感度。作者将单句语义改动视为“针”，嵌入上下文“草堆”，组合扰动类型（否定、连词替换、命名实体替换）、上下文类型、位置与文档长度，在数万文档对上测试七个LLM。作者报告：部分模型存在文档内位置偏差；无关主题上下文会抬高相似度分数；各模型对扰动类型的惩罚排序一致但尺度不同。
要点速读
- 论文提出多因素框架，在数万文档对上测试七个LLM的语义相似度评分敏感性。
- 作者报告部分模型存在文档内位置偏差，语义改动越靠前惩罚越重。
- 作者报告改动句被无关主题上下文包围时，几乎所有设置下相似度分数上升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。