研究：无法读取预警时，LLM 会误报天气平静
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载虚假安抚如何定义
论文把「模型看不到官方强天气预警、却向用户描述天气平静」这一现象命名为 false reassurance，即虚假安抚。评测方法是将 117 个冻结案例回放给一条基于 Claude 的天气准备流程，案例由真实的美国国家气象局（NWS）预警构造，包括 69 个预警案例、32 个无预警对照和 16 个美国以外地点。流程在五种条件下运行，条件之间的差别在于能否访问预警数据以及提示词如何设计。所有 342 条预警案例回复由一名标注者按七类方案人工标注，该方案在首轮二分类之后写成，作者对此作了披露。
预警数据与提示词的作用
结果显示，生产流程的虚假安抚率为 0.0%（0/66，95% 置信区间 0.0-5.5），在同样的真实预警下改用中性提示词也是 0/69；而盲测中性提示词条件下升至 37.7%（26/69），当盲测提示词还要求模型主动披露自己看不到预警时，比例反而达到 44.9%（31/69）。配对 McNemar 检验显示真实预警显著消除了虚假安抚（p < 0.0001），而披露指令没有效果（p = 0.40）。所有案例都是隐性的，没有一条回复明确否认存在预警。作者还指出，自动正则度量给出了相反结论，并漏掉 57 个真实案例中的 53 个，因此未被采用。
仅有数据并不足够
论文强调，只接入预警数据不足以带来安全行为。在中性提示词下，模型对 87.5% 的无预警对照发出了某种警报，而生产提示词下这一比例为 0%，说明提示词设计在抑制误报上起关键作用；一项预注册的单句消融实验表明，生产提示词中的某一条指令解释了部分差距。作者还报告了同类系统常见的两类失败：把 NWS 的测试产品当作真实预警摄入，以及 token 预算在复杂案例上不够用。论文共 7 页、3 张表，并公开了数据集、标注与代码。
为什么值得看
揭示 LLM 在安全相关场景中「看不到数据就报平安」的隐性失效，并给出可复现评测与数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。