WeaveFace轻量级人脸检测器发布,引入Mamba实现跨尺度交互

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对无约束条件下人脸检测需全局跨尺度依赖而局部融合无法建模的问题,Dohun Kim等人提出Weave Mamba Fusion(WMF)。该方法将相邻金字塔层级逐列交织,使双向扫描在尺度间交替,结合部分通道处理与无参数反交织,高效保留跨尺度特征结构。基于此构建的WeaveFace检测器在WIDER FACE上以0.34M参数与1.16 GFLOPs达到91.41%平均AP,在Hard子集达87.14% AP,超越此前0.5M参数以下检测器,代码已开源。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

跨尺度融合的难点

特征金字塔类方法从 FPN 一路演进到 BiFPN,依靠把不同尺度的特征合并起来,在面部检测任务上取得了不错的成绩。但在不受约束的场景下,例如目标尺寸很小、被遮挡或者姿态极端时,检测依然吃力。论文给出的解释是,这类情况需要全局的跨尺度依赖关系,而只在局部做融合的机制无法刻画这种关系。状态空间模型中的 Mamba 通过把特征当作序列来扫描,以线性复杂度提供全局上下文,因此被视为一个有希望的方向。不过这种扫描要求先把两个金字塔尺度合并成单一特征图,而合并方式直接决定了跨尺度结构能否被保留下来。

相加与拼接的取舍

论文比较了两种常见的合并手段。相加会在扫描之前就把两个尺度压到一起,结果是扫描过程没有跨尺度结构可以利用;拼接虽然把两个尺度都保留下来,代价却高得多。为绕开这一矛盾,作者提出 Weave Mamba Fusion,简称 WMF。它的做法是把相邻的两个金字塔尺度按列交错排列,使得水平双向 SS2D 扫描每走一步都在两个尺度之间切换。配合部分通道处理以及无需参数的解交织操作,WMF 在保持特征结构的同时实现了较为高效的跨尺度交互。

从融合节点到检测器

把 WMF 放进每一个融合节点,就得到 WeaveBiFPN,它充当 WeaveFace 检测器的颈部结构。在 WIDER FACE 数据集上,WeaveFace 在参数量与计算量都较小的条件下,表现超过了参数量更低的已有检测器。论文指出,性能提升最明显的部分出现在 Hard 子集上。作者同时公开了代码,论文提交时间为 2026 年 10 月 5 日,作者为 Dohun Kim 与 Jinmyung Jung,主题归类为计算机视觉与模式识别以及人工智能。

为什么值得看

将Mamba引入特征金字塔解决跨尺度融合难题,在极低算力下刷新轻量人脸检测SOTA,对端侧部署极具参考价值。

信源1 家

  1. [1]arXiv cs.AI一手信源Weave Mamba Fusion: Global Cross-Scale Interaction for Lightweight Face Detection

关键事实

  • 提出Weave Mamba Fusion,通过逐列交织相邻金字塔层级实现跨尺度交互[1]

  • WeaveFace在WIDER FACE上以0.34M参数和1.16 GFLOPs达到91.41%平均AP[1]

  • 在WIDER FACE的Hard子集上达到87.14% AP,超越此前0.5M参数以下检测器[1]

  • 代码已公开可用[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。