研究揭示推理大模型输出前缀攻击漏洞,成功率可达99%

论文AI 评分 82/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对具备中间推理步骤的大模型,研究首次系统考察了将恶意内容注入其推理通道的输出前缀攻击。实验针对Gemini 3 Flash Preview、DeepSeek V4 Flash与Claude Haiku 4.5三款前沿模型,在1800个测试用例上进行。结果显示,仅注入恶意推理几乎无效(成功率约0%),但若同时附加一个简单的输出前缀,部分模型攻击成功率飙升至99%。此外,上下文相关前缀比静态前缀更易得手,且各模型易受攻击程度存在差异。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把前缀塞进输出开头

这项研究关注的是推理类大模型的一个可被利用的入口。大模型读写的是同一条文本序列,一旦有人能在模型回复的起始位置插入内容,也就是所谓输出前缀,后面生成的每一个词都会以这段内容为条件。研究者把这种手法称为输出前缀攻击,并把它归入成本较低的黑盒提示注入。此前已有工作表明,同类攻击可以稳定地让非推理模型绕过限制。而多数推理模型在给出最终答复之前,会先经过一段中间的草稿式推理步骤,部分接口会把这段推理通道暴露出来,攻击者因此可以把恶意内容注入其中。

三类前缀与两种注入

作者称这是首个把草稿推理通道单独隔离出来、当作输出前缀攻击面进行系统且受控的研究,也是首个在暴露推理与隐藏推理两类模型上,同时比较仅推理注入、仅输出前缀、推理加输出前缀三种攻击的研究。实验采用析因设计,前缀类型有三种,推理注入有两种,测试用例取自 AdvBench。被攻击的对象是三个 2026 年前沿模型,分别是 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5。

单注入几乎无效

结果中最值得注意的是两类注入的配合关系。只把恶意推理内容注入草稿通道时,攻击基本不起作用,成功率接近于零。但把同样的推理内容与一段看似无关紧要的输出前缀一起注入,某些模型上的攻击成功率会升到最高百分之九十九。研究还发现,对这类攻击而言,带上下文的前缀比固定不变的前缀更有效,而模型是否容易被攻破,取决于具体是哪一个模型。

为什么值得看

揭示推理模型在组合攻击下的严重安全盲区,对API设计与模型防御有直接警示。

DeepSeekClaudeGemini大模型

信源1 家

  1. [1]arXiv cs.AI一手信源Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs

关键事实

  • 仅注入恶意推理成功率约0%,叠加输出前缀后成功率可达99%[1]

  • 测试对象为Gemini 3 Flash Preview、DeepSeek V4 Flash和Claude Haiku 4.5[1]

  • 实验基于AdvBench的1800个测试用例,采用3种前缀类型乘2种推理注入的因子设计[1]

  • 上下文相关前缀比静态前缀攻击效果更好,且模型间易感性不同[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。