提示与概率评估语言模型语义焦点敏感性

论文发现部分大模型提示评估语义焦点优于token概率。

资讯摘要

论文比较显式提示与token概率两种方式评估语言模型的语义焦点敏感性，测试不同规模模型对粗体、斜体等焦点标记的判别。作者报告token概率普遍高于随机水平；提示结果与既有发现大体一致，但部分大模型提示表现大幅优于概率。作者认为模型不倾向生成无上下文焦点标记，会干扰概率结果，并用随机标记实验验证。

要点速读

1. 论文测试语义焦点敏感性，如"Lucy only SWAM yesterday"与"Lucy only swam YESTERDAY"的对比。
2. 作者报告token概率在所有测试模型上均高于随机水平；部分大模型上提示大幅优于概率。
3. 作者用随机生成焦点标记替换标准标记，概率仍高于随机但性能下降显著大于提示。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。