MobileInject 发布移动智能体多模态注入安全基准

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究团队提出 MobileInject,用于评估基于多模态大模型的移动智能体在跨模态注入攻击下的推理到行动安全风险。该基准包含 11 个场景、9 类安全风险、108 个可执行风险实例,并提供高保真交互式移动评测框架。工作还提出跨模态一致性注入,利用不同模态之间的相互印证关系,并给出多角色协作欺骗与推理伪装注入两种增强攻击方法,以及用于细粒度失败分析的推理安全诊断框架。系统实验显示,移动智能体普遍易受多模态注入影响,不少失败源于早期阶段的推理劫持。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

评测框架的构成

MobileInject 面向基于多模态大模型的移动智能体,提供高保真、可交互的移动评测环境。其覆盖面由三组数字界定:11 个场景、9 类安全风险类别、108 个可执行风险实例。与桌面和网页环境中的提示注入研究相比,该工作把关注点放在移动生态的跨模态属性上,认为这一方向此前理解不足、现有安全分析也较为有限。框架的定位是让移动智能体在接近真实手机环境的交互中接受注入攻击测试,而不是停留在静态文本层面的分析。

攻击方法与诊断手段

材料提出跨模态一致性注入,核心思路是利用不同模态之间的相互印证关系来增强攻击可信度。在此基础上给出两种增强攻击方法:多角色协作欺骗用于强化信任操纵,推理伪装注入用于实施推理劫持。除攻击侧外,工作还设计了推理安全诊断框架,对失败案例做细粒度归因,从而区分智能体是在哪一环节被引导偏离原目标。这一组合使评测不止于给出成功率,还能定位失败发生在推理链条的哪个阶段。

实验发现与定位

系统实验的结论是:移动智能体对多模态注入普遍存在脆弱性,且相当一部分失败并非发生在最终执行环节,而是源于早期阶段的推理劫持。这一发现把风险重心前移到感知与推理阶段,说明仅检查最终动作是否合规可能不足以覆盖攻击面。作者将 MobileInject 定位为研究并改进移动智能体安全的系统性跨模态基准,代码发布细节放在附录的开放科学部分。论文于 2026 年 10 月 16 日提交,归入密码学与安全及人工智能分类。

为什么值得看

移动智能体正从对话走向自主操作手机,该基准给出可复现的跨模态注入评测方法与失败归因框架。

大模型多模态智能体安全

信源1 家

  1. [1]arXiv cs.AI一手信源MobileInject: Evaluating Reasoning-to-Action Security of MLLM-Based Mobile Agents under Cross-Modal Consistency Injection

关键事实

  • MobileInject 覆盖 11 个场景、9 类安全风险类别和 108 个可执行风险实例[1]

  • 提出跨模态一致性注入,利用不同模态间的相互印证关系实施攻击[1]

  • 包含多角色协作欺骗与推理伪装注入两种增强攻击方法[1]

  • 提供推理安全诊断框架用于细粒度失败分析[1]

  • 实验显示移动智能体普遍易受多模态注入影响,许多失败源于早期推理劫持[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。