盲测 LLM 在真实天气警报下易给出虚假安抚，接入警报数据可消除。
资讯摘要
论文提出“虚假安抚”概念：看不到官方严重天气警报的 LLM 助手可能在警报生效时告诉用户天气平稳。作者用 117 个冻结案例（69 个警报案例、32 个无警报对照、16 个非美国地点）回放 Claude 准备流程的五个条件。结果显示，生产流程虚假安抚率为 0.0%，盲测中性提示为 37.7%，要求模型披露盲区后升至 44.9%；所有案例均为隐式，无明确否认警报。
要点速读
- 论文报告生产流程虚假安抚率 0.0%（0/66），盲测中性提示为 37.7%（26/69），加入盲区披露指令后为 44.9%（31/69）。
- 真实警报数据可消除虚假安抚（McNemar p < 0.0001），披露指令无效（p = 0.40）；自动正则指标漏检 57 个真实案例中的 53 个。
- 中性提示下模型对 87.5% 的无警报对照发出警报，生产提示下为 0%；论文还报告 NWS 测试产品被当作真实警报、token 预算在复杂案例上失效两类失败，并发布数据集、标签和代码。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。