语义保持的提示扰动最多使模型性能降 12%，并常改变排名。
资讯摘要
论文提出量化模型对提示变体敏感性的理论框架，并据此设计评估流程 Brittlebench，对常用基准施加语义保持扰动。作者报告模型性能最多下降 12%，单次扰动在 63% 的情况下改变模型相对排名；对开源权重与商用模型的方差分解显示，语义保持的输入扰动最多可解释给定模型性能方差的一半。
要点速读
- 论文提出区分数据固有难度与提示相关波动的理论框架，并据此构建 Brittlebench 评估流程。
- 作者报告语义保持扰动使模型性能最多下降 12%，单次扰动在 63% 的情况下改变模型相对排名。
- 方差分解显示，语义保持的输入扰动最多可解释模型性能方差的一半。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。