新方法BAPA解决测试时二值分割的熵坍缩问题

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

测试时适应常采用熵最小化,但在不平衡二值分割中,多数类像素会主导梯度使少数类预测坍缩。为此提出BAPA方法,含两个模块:CBA为前景背景分别选高置信锚点并赋予等损失权重,防大区域主导更新;DPA仅优化文本侧提示残差并动态刷新锚点,冻结视觉语言编码器以保留预训练视觉表征。四领域实验中BAPA取得最高平均Dice,消融实验证实两模块互补。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

熵最小化为何失效

在测试时自适应中,熵最小化是常见目标,但放到二值分割任务上会出问题。与图像分类不同,稠密分割要把成千上万个像素预测汇总起来,预测占多数的类别会在更新中占据主导,把少数类的预测往自己这边拉。随着预测逐渐饱和,其熵梯度趋于消失,最终生成退化的掩码。论文在共享偏移模型下从理论上说明了这种坍缩的成因,为后续方法设计提供了依据。

双模块如何分工

针对上述问题,作者提出平衡锚点提示自适应(BAPA),由两个互补模块组成。类平衡锚点(CBA)模块分别从每个预测类别中挑选高置信度锚点,并让前景与背景获得相同的总损失权重,使较大区域无法主导更新。动态提示自适应(DPA)在每次预测更新后刷新这些锚点,并且只优化文本侧的提示残差,视觉语言编码器保持冻结。这种仅更新提示的做法在不改变预训练稠密视觉表示的前提下,细化前景与背景的决策边界。

与熵最小化的差别

BAPA 与熵最小化路线的区别在于更新对象和权重分配。熵最小化直接压低预测熵,在类别不均衡时容易让多数类吞并少数类;BAPA 则通过等权重的锚点损失约束更新方向,并把可训练参数限制在文本侧提示上。论文通过因子化消融实验验证了 CBA 与 DPA 各自的作用互补,说明平衡的提示自适应可以作为测试时二值分割中熵最小化的有效替代方案。

实验范围与读者关切

论文在来自四个领域的实验中比较了多种方法,BAPA 在受评估方法中取得最高的平均 Dice。这一结果覆盖的是二值分割场景,方法本身依赖文本侧提示残差与冻结的视觉语言编码器,因此其适用范围与这类模型结构相关。对关注测试时自适应的读者而言,这项工作提示:在稠密预测任务上,单纯压低熵未必可靠,按类别平衡分配损失并只调整提示,是一条值得关注的替代路径。

为什么值得看

针对测试时二值分割的熵最小化失效问题,提供了理论证明与有效替代方案,对分割模型测试时适应有直接参考价值。

信源1 家

  1. [1]arXiv cs.AI一手信源Balanced Prompt Adaptation against Entropy-Induced Collapse for Test-Time Binary Segmentation

关键事实

  • 熵最小化在不平衡二值分割中会导致多数类主导更新,引发预测坍缩[1]

  • BAPA包含CBA和DPA两个互补模块[1]

  • CBA为前景和背景分别选取高置信锚点并赋予相等的总损失权重[1]

  • DPA仅优化文本侧提示残差,冻结视觉语言编码器[1]

  • 四个领域的实验中BAPA取得了评估方法中的最高平均Dice[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。