arXiv 论文提出三种防御人脸识别流水线后门攻击的方法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 技术报告针对人脸识别系统的后门威胁给出三种防御手段。作者设定的场景是:模型由企业内部训练,但训练数据来自可能已被攻破的第三方,攻击者通过数据投毒植入后门。第一种方法在训练阶段检测被投毒的身份,可在训练过程中或流水线上线前使用;另外两种在推理阶段过滤可疑输入,在把结果返回给潜在攻击者之前拦截。每种方法都说明了动机、算法与计算开销,并在接近真实的人脸识别负载上做了评估,目标是为系统提供方可落地的加固手段。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

威胁模型设定

报告把关注点放在产业实践者最常遇到的场景上:模型训练环节由企业内部完成,但训练数据来自第三方,而这些数据来源可能已经被攻破。在这种前提下,攻击者不需要接触训练流程本身,只要在数据供给环节做手脚,就能向人脸识别流水线植入后门。作者认为,保护成熟的多阶段人脸识别系统对系统提供方而言十分关键,因此把这一数据投毒式的后门攻击作为防御设计的出发点。

训练期与推理期两类手段

报告给出三种防御做法。第一种作用在训练阶段,用于在训练过程中或流水线正式部署之前识别出被投毒的身份。后两种作用在推理阶段,思路是在系统把回答返回给潜在攻击者之前,先把可疑的输入过滤掉。三种方法各自配有动机说明、算法描述和计算开销分析,作者希望这些内容能直接转化为系统提供方可以执行的加固措施,而不只是停留在理论层面。

评估与定位

这些方法在接近真实的人脸识别负载上接受了评估,报告将其定位为一份技术报告,重点在于提供可操作的加固技巧。论文归入计算机视觉与模式识别、人工智能、密码学与安全、机器学习等分类,说明其关注点横跨模型训练流程与安全防护两个方向。

为什么值得看

面向企业实际部署场景,给出训练期与推理期两类可操作的人脸识别后门防御思路,并交代了计算开销。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源A Bag of Tricks for Defending Deep Learning-based Face Recognition Pipelines against Backdoor Attacks

关键事实

  • 论文针对的威胁模型是:模型在企业内部训练,但训练数据来自可能已被攻破的第三方。[1]

  • 三种防御手段中,一种在训练阶段检测被投毒的身份,可在训练中或流水线上线前使用。[1]

  • 另外两种方法在推理阶段过滤可疑输入,在结果返回给潜在攻击者之前进行拦截。[1]

  • 每种方法都给出了动机、算法与计算开销,并在接近真实的人脸识别负载上做了评估。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。