PromptArmor 评测:开放权重模型遭间接提示词注入攻击易感率高 88%

论文AI 评分 72/100PromptArmor:Threat Intelligence待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

PromptArmor 对开放权重与闭源模型做了对比评测,结论是开放权重模型在真实场景的间接提示词注入攻击链上易感率高出 88%。评测覆盖各主要厂商最新的旗舰型号与高性价比型号,面向企业常用场景。该团队指出,现有网络与对齐基准未覆盖真实智能体系统所用的攻击链、法律医疗金融等实际领域,以及长时任务与常驻智能体,其载荷设计也已过时,导致模型易感程度被低估,因此自建了评测基准。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

评测结论与对比口径

PromptArmor 的威胁情报团队做了一轮对比评测,对象是开放权重模型与闭源模型,衡量指标是它们在真实世界间接提示词注入攻击链下的易感程度。结论是开放权重模型的易感率高出 88%。评测的取样方式是各主要厂商最新的旗舰型号加上最新的高性价比型号,场景设定为企业环境中最常使用的那些。团队同时说明,攻击样本中有一部分在开放权重与闭源模型之间表现出明显差异,这部分样本被单独列出作为示例。

为什么要自建基准

团队给出的理由是现有网络与对齐基准存在覆盖缺口。第一,这些基准没有覆盖真实世界中用来攻击智能体系统的网络攻击链。第二,它们没有覆盖当下智能体面对的真实用例复杂度与领域,例如法律、医疗、金融,也没有覆盖常驻智能体和长时任务这类形态。第三,它们的载荷设计手法对当前一代模型已经失效,方法过时,结果就是模型的易感程度被低估。基于这三点,团队自行开发了一套评测基准,用来更贴近真实智能体系统所面临的间接提示词注入网络攻击。

评测方法上的一个提醒

团队强调真实智能体系统本身很复杂,不同系统的威胁模型与攻击面各不相同,评测环境需要反映这种差异。他们特别指出,不能靠模型是否拒绝来判断攻击是否成功:在真实攻击中,模型并不理解自己正在执行什么动作,这会让模型对是否已经中招给出错误表述。团队的研究方向是在真实智能体系统(如 Claude、ChatGPT、Atlassian Rovo 等)中识别漏洞,并构造具备网络攻击后果的端到端间接提示词注入攻击链,例如数据外泄或远程代码执行。其已发表研究被多个行业框架与出版物引用,包括 OWASP Top 10 for LLMs、MITRE ATLAS,以及 OpenAI 关于智能体数据外泄与智能体对抗鲁棒性的研究。

为什么值得看

智能体安全是企业落地绕不开的问题,这份评测给出了开放权重与闭源模型在真实攻击链上的易感差距。

智能体对齐

信源1 家

  1. [1]PromptArmor:Threat Intelligence线索来自 AIHOTPromptArmor 研究称开放权重模型遭间接提示词注入攻击的易感率高 88%

关键事实

  • 开放权重模型在真实间接提示词注入攻击链上的易感率比闭源模型高 88%[1]

  • 评测选取了各主要厂商最新的旗舰型号与高性价比型号[1]

  • 该团队认为现有网络与对齐基准未覆盖真实智能体系统所用的攻击链[1]

  • 现有基准未覆盖法律、医疗、金融等真实用例领域及常驻智能体、长时任务[1]

  • 该团队自建评测基准以衡量模型对间接提示词注入网络攻击的易感程度[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。