SecPO 提出抗提示注入训练法,智能体攻击成功率降至 8.8%

论文AI 评分 82/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对提示注入这一智能体主要威胁,研究者指出 Meta-SecAlign 所用的 DPO 损失把模型锚定在未设防的参考模型上,自适应攻击下攻击成功率接近 100%。作者提出 SecPO 损失,用可近似获取的「注入不变、保留效用」理想参考模型替代该锚点,并搭建对抗训练流程合成强注入样本(best@240)。在三种自适应攻击下,相比 Meta-SecAlign,对抗训练把攻击成功率降低 1.5 至 14.5 倍,SecPO 损失在此基础上再降 2.4 至 4.6 倍。在 AgentDojo 的 AttackerMovesSecond 攻击下,SecPO 结合对抗训练的 Qwen3.6-27B 攻击成功率为 8.8%,Meta-SecAlign 为 78.8%;九项基准上良性效用无明显下降。代码、训练数据和模型已公开。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

DPO 锚点的问题

论文把提示注入列为智能体的首要威胁:来自邮件、文档、网站等不可信数据的指令能够改变智能体的行为。作者以 Meta-SecAlign 作为对照,它用 DPO 损失训练,但在自适应提示注入下攻击成功率仍接近 100%。作者给出的解释是,DPO 把模型锚定在未设防的参考模型周围,而这个参考模型本身并不安全,因此防御上限被这个锚点限制住。

SecPO 损失的思路

作者提出一个理想化参考模型:它对注入保持不变,同时保留原有任务效用。论文称这样的参考模型可以被近似,理由是它在训练时的输出分布能够以某种方式获取。基于这一观察,作者设计了有理论依据的 SecPO 损失,用它替代 DPO 作为训练目标,使模型不再围绕不安全的参考模型收敛。

强攻击样本与量化结果

作者认为 Meta-SecAlign 的另一短板是只用弱模拟攻击训练,于是搭建了高效的对抗训练流程,合成强注入输入(best@240)并用于训练。在三种当前最优的自适应攻击下,相比 Meta-SecAlign,对抗训练把攻击成功率降低 1.5 至 14.5 倍;SecPO 损失相比 DPO 损失再降低 2.4 至 4.6 倍。在智能体工作流中,AgentDojo 的 AttackerMovesSecond 攻击下,SecPO 结合对抗训练的 Qwen3.6-27B 攻击成功率为 8.8%,Meta-SecAlign 为 78.8%。

效用与开源情况

作者称防御后的模型在九项基准上没有明显效用损失,这些基准覆盖智能体工具调用、指令遵循、科学与数学。论文同时公开了代码、含对抗训练优化注入样本的训练数据以及模型权重,便于复现与在真实智能体场景中进一步验证。论文编号为 arXiv:2610.41998,归入 cs.CR 与 cs.AI。

为什么值得看

提示注入是智能体落地的主要安全障碍,该工作给出可复现的训练方法与公开模型,安全与效用可同时评估。

MetaQwen智能体

信源1 家

  1. [1]arXiv cs.AI一手信源SecPO: Principled Adversarial Training for Prompt Injection Security

关键事实

  • 现有防御较好的 Meta-SecAlign 用 DPO 损失训练,在自适应提示注入下攻击成功率接近 100%[1]

  • 作者称「注入不变、保留效用」的理想参考模型可被近似,其训练时的输出分布可获取[1]

  • 对抗训练流程合成强注入输入(best@240),在三种自适应攻击下把攻击成功率降低 1.5 至 14.5 倍[1]

  • SecPO 损失相比 DPO 损失再把攻击成功率降低 2.4 至 4.6 倍[1]

  • AgentDojo 的 AttackerMovesSecond 攻击下,SecPO 结合对抗训练的 Qwen3.6-27B 攻击成功率为 8.8%,Meta-SecAlign 为 78.8%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。