研究：否定与反义词替换可绕过主流大模型安全护栏
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出「极性盲区」概念，指模型在语句被否定或反义词替换后，无法识别原本的有害意图。研究对比了语法否定与反义词替换两种极性反转，并以同义替换作为不改变极性的对照，同时测试对抗性文本包装是否会放大失效。实验使用 260 条提示，覆盖 10 个主流模型与英语、西班牙语、捷克语三种语言，按潜在危害分层并以 0-5 危害量表评分。结果显示多数被测模型存在该问题，最脆弱模型的平均危害分达 4.12；该现象在不同类型的否定体系中均出现，作者据此认为这是语义鲁棒性的普遍短板，而非某一语言或语法特有问题。代码与数据已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载极性盲区指什么
论文把「极性盲区」定义为：语句经过改变极性的语言变换后，模型无法再识别其中的有害意图，从而使安全护栏失效。研究考察两类极性反转，一是语法层面的否定，二是把关键词换成反义词；同时设置同义替换作为对照，因为同义替换不改变句子极性，可用于区分「换词本身带来的扰动」与「极性被翻转造成的失效」。此外，研究还测试在提示外层加一段对抗性文本包装，是否会进一步放大上述失败。
实验设置与规模
评测集由 260 条提示构成，覆盖 10 个当前表现较好的模型，语言包括英语、西班牙语和捷克语。提示按潜在危害程度分层，评分采用经过验证的 0-5 危害量表，分数越高代表输出危害越大。三种语言在否定体系上类型不同，这一设计用于检验失效是否与特定语言的语法结构绑定。
主要结果
结果显示极性盲区影响多数被测模型，最脆弱模型的平均危害分达到 4.12，接近 0-5 量表的高位。该效应在不同类型的否定体系下都持续出现，作者由此判断，这反映的是模型语义鲁棒性上的更广泛限制，而不是某一语言或某一语法结构特有的问题。论文同时公开了代码与数据，便于复现和扩展测试。
为什么值得看
安全护栏可能被简单的否定或换词绕过，做对齐与红队评测的团队需要把极性变换纳入测试集。
大模型安全论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。