研究:每类仅两张参考图,Jev 与 Clef-Flash 缺陷检测准确率超 C…

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文比较了两种结构化决策模型 Jev 与 Clef-Flash 在制造缺陷检测中的少样本表现。传统做法需要数千张良品与缺陷图像,CLIP 类视觉 Transformer 可把需求降到每类 50 至 100 张,但在高良率或小批量产线上,连 50 张缺陷图都难以凑齐。作者把每类参考图压缩到 k=2,在五个制造案例中测试:Jev 准确率 0.75 至 1.00,Clef-Flash 为 0.71 至 0.99,同等参考图下 CLIP 为 0.67 至 0.84。论文还提出自动改写分类文本描述的 agent 方法,在 8 组模型与应用组合中有 6 组提升准确率;概率校准在 15 组配置中有 13 组降低 Brier 分数。作者公开复现代码、R 语言 decisions 包,以及无需写代码即可用自有图像测试的网页应用。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

为什么要把参考图压到两张

制造现场的相机与视觉传感器承担产品与过程检验,过去训练检测模型要收集成千上万张良品与缺陷样本。视觉 Transformer 类模型把这一门槛降到每类 50 至 100 张,但在高良率产线上缺陷本就稀少,小批量生产中单一批次的产量也不足以积累出 50 张缺陷图。论文因此把问题设定在推理阶段每类只用 k=2 张参考图,考察近期提出的两种结构化决策模型 Jev 与 Clef-Flash 能否在这种极端少样本条件下完成分类与检验任务。

三项方法贡献

论文给出三部分工作。其一是面向图像分类与检验的 k-shot 学习框架,规定如何在极少参考图下组织这两个决策模型的输入。其二是 agent 式方法,自动改写引导模型做图像分类的文本描述,让描述更贴合具体检测任务。其三是校准环节,把模型输出的缺陷概率做可靠性调整,使检验决策所依据的数值更可信。三者组合成一条从少样本配置到概率输出的流程。

五个案例的对比结果

作者在五个制造案例上验证上述贡献。每类使用两张参考图时,Jev 的测试准确率落在 0.75 至 1.00,Clef-Flash 落在 0.71 至 0.99,而使用同样参考图的 CLIP 为 0.67 至 0.84,两个决策模型在准确率区间上都高于 CLIP。文本描述的 agent 式改写则在 8 组模型与应用组合中的 6 组带来准确率提升;校准方法在 15 组模型与应用配置中的 13 组降低了 Brier 分数,说明输出概率的可靠性得到改善。

可复现与上手方式

论文标注为 10 页、5 张图,归类于计算机视觉与模式识别及人工智能方向。为便于复现,作者公开了复现代码,并发布 R 语言 decisions 包,供评估更多模型使用。此外还提供一个公开的网页应用,使用者无需编写代码即可用自己的图像做检验测试。这些产出面向希望在实际产线上尝试少样本缺陷检测的工程人员。

为什么值得看

把缺陷检测的图像需求压到每类两张,并给出校准后的概率,直接关系到小批量、高良率产线能否落地视觉质检。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Beyond CLIP: Calibrated (Few-Shot) Defect Detection With System One Decision Models

关键事实

  • 论文研究 Jev 与 Clef-Flash 两种结构化决策模型在每类仅 k=2 张参考图时的图像分类与检测表现[1]

  • 在五个制造案例中,每类两张参考图下 Jev 准确率为 0.75 至 1.00,Clef-Flash 为 0.71 至 0.99,CLIP 为 0.67 至 0.84[1]

  • 自动改写文本描述的 agent 方法在 8 组模型与应用组合中的 6 组提升了准确率[1]

  • 概率校准方法在 15 组模型与应用配置中的 13 组降低了 Brier 分数[1]

  • 作者公开复现代码、R 语言 decisions 包,以及无需代码即可用自有图像测试的网页应用[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。