注册

DisParQ：无需语言监督的可解释视觉基础模型部件概念方法

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究者提出 DisParQ，一种从冻结的纯视觉自监督骨干网络中学习空间定位、离散概念表示的方法，不需要类别标签和语言监督。每张图像的每个 patch 被分配到可学习原型字典中的唯一概念，每张图仅稀疏激活部分概念。为刻画概念在图像间的差异，方法在概念之外学习连续残差并量化为离散属性。空间解码器仅凭概念和属性重建骨干表示，重建成功说明离散表示保留了骨干信息。在七个数据集上评估，ImageNet 线性探测 top-1 达 83.2%，接近冻结的 DINOv2 教师，概念一致性高于语言对齐模型，细粒度识别保持竞争力，并支持跨类别部件检索。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

方法要解决什么

概念型视觉模型通过一层人类可检查的中间概念来表示图像，模型依赖什么可以追溯到这些概念。但这类模型通常局限于固定类别，或依赖语言来定义概念。DisParQ 的出发点是摆脱这两种限制：它从强大的冻结纯视觉自监督骨干中学习概念，既不需要类别标签，也不需要语言监督。这样得到的概念表示既有空间定位，又是离散的，便于人工检查模型到底依据图像的哪些部分做出判断。

概念与属性如何构造

DisParQ 把每张图像的每个 patch 分配到可学习原型字典中的唯一概念，并且每张图只稀疏激活一部分概念。为了刻画同一概念在不同图像间的差异，例如某个“轮子”的类型，方法在概念之外学习连续残差，再把这些残差量化为离散属性。随后用一个空间解码器，仅凭概念和属性重建骨干的表示。如果重建成功，就说明这套离散表示保留了骨干网络的信息，概念层没有丢失关键内容。

评测结果与能力

研究者在七个数据集上评估 DisParQ，覆盖通用识别（ImageNet、PartImageNet、Places）与细粒度基准（CUB、Cars、Dogs、Flowers）。在 ImageNet 线性探测上，它取得 83.2% 的 top-1，接近其冻结的 DINOv2 教师。与语言对齐模型相比，它的概念一致性更高；在细粒度识别上保持竞争力；同时支持跨类别的基于部件的检索。论文投稿至 Computer Vision and Pattern Recognition，并挂在 arXiv 上。

为什么值得看

无需标签与语言监督即可获得可检查的部件级概念，为可解释视觉模型提供新思路。

量化对齐数据集

信源1 家

  1. [1]arXiv cs.AI一手信源DisParQ: Self-Supervised Part Concepts for Interpretable Vision Foundation Models

关键事实

  • DisParQ 从冻结的纯视觉自监督骨干中学习空间定位的离散概念表示，无需类别标签和语言监督。[1]

  • 每张图像的每个 patch 被分配到可学习原型字典中的唯一概念，每张图仅稀疏激活部分概念。[1]

  • 方法在概念之外学习连续残差并量化为离散属性，以刻画概念在图像间的变化。[1]

  • 空间解码器仅凭概念和属性重建骨干表示，重建成功意味着离散表示保留了骨干信息。[1]

  • 在 ImageNet 线性探测上 top-1 为 83.2%，接近冻结的 DINOv2 教师，概念一致性高于语言对齐模型。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论