LLM恶劣天气指引中的虚假安抚：基于真实 NWS 预警的可重放评估

无法查看官方恶劣天气预警的 LLM 助手，可能会在预警生效时告诉用户当前情况平静。我们将这种现象称为虚假安抚，并通过回放 117 个基于真实 U.S. National Weather Service (NWS) 预警构建的固定案例，对其进行测量。这些案例包括 69 个预警案例、32 个无预警对照案例和 16 个非美国地点，并经过 Claude 驱动的应急准备流程的五种条件处理；这些条件在预警访问权限和提示设计上有所不同。一名评估者按照七类别方案对全部 342 条预警案例回复进行人工标注；该方案是在初始二元标注之后制定的，我们对此予以披露。生产流程中的虚假安抚率为 0.0%（0/66，95% CI 0.0–5.5），在中性提示下针对同一批预警的虚假安抚率也为 0/69；在无法查看预警的中性提示下为 37.7%（26/69）；当该盲提示还要求模型披露自身无法查看预警这一盲点时，为 44.9%（31/69）。所有此类案例均为隐性的；没有任何回复明确否认存在预警。提供真实预警消除了虚假安抚（配对 McNemar 检验 p < 0.0001），而披露指令没有消除这一现象（p = 0.40）。一项自动化正则表达式指标给出了相反的结论，并漏掉了 57 个真实案例中的 53 个，因此我们不采用该指标。仅有预警数据并不足以确保安全行为：在中性提示下，模型对 87.5% 的无预警对照案例发出了一定程度的警示，而在生产提示下这一比例为 0%；一项预注册的单句消融实验表明，一条生产指令可以解释这一差距的一部分。我们还报告了类似系统中常见的两个问题：将 NWS 测试产品作为真实预警摄入，以及在复杂案例上因令牌预算不足而失败；同时发布数据集、标注和代码。