AnomalyAgent:用受限VLM做多检测器融合的视觉异常检测框架

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究提出 AnomalyAgent,一个训练后融合框架,用于视觉异常检测。它先对齐不同预训练检测器给出的图像级分数与异常图,再归纳分数层面和区域层面的分歧,把融合过程当作有限动作选择问题处理。动作分两类:分数动作通过共识、稳健聚合、检测器加权或分数-图一致性决定图像级置信度如何合并;图动作通过共识、加权、几何聚合或分歧修正合并稠密异常响应。一个受限视觉语言模型负责检查冲突较大的样本,并选出有效的分数动作与图动作组合。在 MVTec AD 与 VisA 上,其平均图像 AUROC 与像素 AP 优于对比的融合方法,并在另外七个公开异常基准及 Real-IAD 上验证了跨域迁移。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

固定融合规则的失效点

视觉异常检测的训练样本中异常案例往往稀少,因此常见做法是组合多个预训练检测器,利用它们可迁移的图像分数与异常图。但现有集成方法大多在已保存的预测上套用固定融合规则。当各检测器因训练目标、先验和视觉表征不同而给出明显不一致的判断时,这类规则难以应对。AnomalyAgent 的出发点正是这一分歧场景:它不改变各检测器本身,而是在训练后阶段处理分数与图的合并问题。

动作空间与VLM的介入方式

该框架先把不同来源的分数与异常图对齐,再总结分数层面与区域层面的分歧,把融合转化为有限动作选择。分数动作决定图像级检测器置信度的合并方式,可选共识、稳健聚合、检测器加权或分数-图一致性;图动作负责合并稠密异常响应,可选共识、检测器加权、几何聚合或分歧修正。一个受限视觉语言模型被用于检查冲突较高的样本,并从中选出有效的分数动作与图动作,最终给出预测。这样,融合策略随样本分歧程度变化,而不是全局统一。

基准表现与迁移验证

评估以 MVTec AD 和 VisA 为主要基准,另加七个公开异常基准以及 Real-IAD 用于大规模分数级评测。结果显示,AnomalyAgent 在这些基准上稳定优于等权融合,并在 MVTec AD 与 VisA 上取得所比较融合方法中最佳的平均图像 AUROC 与像素 AP,同时在更多异常领域表现出可迁移性。论文共 10 页、2 幅图、13 张表,编号 arXiv:2610.28560。

为什么值得看

多检测器融合常因固定规则在分歧样本上失效,这里用受限 VLM 动态选融合动作,给出了可复用的后训练思路。

对齐

信源1 家

  1. [1]arXiv cs.AI一手信源Agentic Ensemble with Vision-Language Models for Visual Anomaly Detection

关键事实

  • AnomalyAgent 是训练后融合框架,不重新训练检测器,而是对齐异构分数与异常图后做融合。[1]

  • 框架把融合建模为有限动作选择,分数动作与图动作各含共识、加权、几何聚合、分歧修正等选项。[1]

  • 受限视觉语言模型只在高冲突样本上介入,负责挑选有效的分数动作与图动作。[1]

  • 在 MVTec AD 与 VisA 上,其平均图像 AUROC 和像素 AP 为对比融合方法中最佳,并优于等权融合。[1]

  • 评测还覆盖另外七个公开异常基准与 Real-IAD,用于大规模分数级评估。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。