研究揭示推理大模型输出前缀攻击漏洞,成功率可达99%
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载把前缀塞进输出开头
这项研究关注的是推理类大模型的一个可被利用的入口。大模型读写的是同一条文本序列,一旦有人能在模型回复的起始位置插入内容,也就是所谓输出前缀,后面生成的每一个词都会以这段内容为条件。研究者把这种手法称为输出前缀攻击,并把它归入成本较低的黑盒提示注入。此前已有工作表明,同类攻击可以稳定地让非推理模型绕过限制。而多数推理模型在给出最终答复之前,会先经过一段中间的草稿式推理步骤,部分接口会把这段推理通道暴露出来,攻击者因此可以把恶意内容注入其中。
三类前缀与两种注入
作者称这是首个把草稿推理通道单独隔离出来、当作输出前缀攻击面进行系统且受控的研究,也是首个在暴露推理与隐藏推理两类模型上,同时比较仅推理注入、仅输出前缀、推理加输出前缀三种攻击的研究。实验采用析因设计,前缀类型有三种,推理注入有两种,测试用例取自 AdvBench。被攻击的对象是三个 2026 年前沿模型,分别是 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5。
单注入几乎无效
结果中最值得注意的是两类注入的配合关系。只把恶意推理内容注入草稿通道时,攻击基本不起作用,成功率接近于零。但把同样的推理内容与一段看似无关紧要的输出前缀一起注入,某些模型上的攻击成功率会升到最高百分之九十九。研究还发现,对这类攻击而言,带上下文的前缀比固定不变的前缀更有效,而模型是否容易被攻破,取决于具体是哪一个模型。
为什么值得看
揭示推理模型在组合攻击下的严重安全盲区,对API设计与模型防御有直接警示。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
