HnS：无需模型权重与标注数据的黑盒视觉模型概念归因方法
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Hide and Seek（HnS），用于黑盒视觉模型的概念级归因。现有概念归因方法只能解释分类与回归模型，且需要模型权重或大规模概念标注数据，多数无法给出图像级归因。HnS 不依赖模型权重与标注概念数据集，流程是：给定概念与图像集，用视觉语言模型检索概念对齐图像，定位概念区域并遮挡，再比较遮挡前后黑盒模型输出的变化来度量归因。作者在 CelebA 与 COCO-Stuff 上验证，HnS 与真实归因的一致性优于已有方法，并展示了在图像描述与卫星图像分割上的适用性。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载现有概念归因方法的限制
论文指出，解释机器学习模型的预测是核心难题，黑盒视觉模型尤其如此。基于概念的归因方法用人类可理解的概念来解释模型，但现有方法存在几项限制：它们只能解释分类和回归模型；需要访问模型权重，或者需要大规模带概念标注的数据集；而且大多数方法无法给出图像级别的归因。这些限制意味着，面对只能调用输入输出的黑盒模型，或者缺乏概念标注的场景，已有方法难以直接使用。
HnS 的做法
Hide and Seek（HnS）的设计目标是不依赖模型权重，也不依赖标注好的概念数据集，同时能解释多种视觉模型。它的流程分几步：给定一个概念和一组图像，先用视觉语言模型检索出与该概念对齐的图像；随后在每张图像中定位该概念所在区域；把定位到的区域遮挡掉；最后比较原始图像与被遮挡图像送入黑盒模型后输出的变化，用这个变化来度量归因。由于归因直接来自模型行为的变化，论文称这种方式能提供忠实的归因，并支持局部（图像级）的归因结果。
验证与适用任务
作者在 CelebA 和 COCO-Stuff 两个数据集上对 HnS 做了验证。与已有方法相比，HnS 的结果与真实归因的一致性更好。论文还展示了 HnS 在多种任务上的适用性，包括图像描述和卫星图像分割——论文称在这些任务上，此前没有可用的概念归因方法。作者将匿名代码放在补充材料中。
为什么值得看
无需权重和标注数据即可解释黑盒视觉模型，并支持图像级归因，对模型可解释性研究与实践有直接参考价值。
对齐论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。