NeuronEye提出查询引导视觉概念激活机制
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把视觉状态拆成概念基
现有视觉语言模型把画面信息压进稠密的隐藏状态里，物体的身份、空间排布和局部属性彼此缠绕，模型很难单独拎出某条语言提问真正需要的那部分视觉证据。NeuronEye 的思路是换一种组织方式：从模型中间层的表示出发，构建一套稀疏的、以概念为单位的神经元词表。具体做法是把视觉 token 的状态分解成一个过完备的稀疏基底，这个基底按概念级别的簇来编排，而不是让所有信息混在同一片稠密向量中。这样做的依据来自生物视觉中的稀疏群体编码与自上而下的调制现象。对读者来说，这意味着视觉特征不再只是被动读取的中间结果，而是可以被显式命名、被单独寻址的一组单元，后续的激活与抑制都建立在这套词表之上。
用提问去点亮相关簇
构建好词表之后，NeuronEye 在推理阶段用语言提问来驱动激活。查询会挑出与之相关的概念簇，并进一步定位这些概念具体表达到哪些图像块上，也就是把概念和空间位置对应起来。被选中的证据随后被注入回视觉 token，让模型在生成回答时更依赖这部分内容。框架还配了一套抑制机制，用来压低那些占据主导地位的感知方向，避免它们盖住信号较弱但同样相关的线索。整个流程只在冻结的主干模型上跑一次前向计算，不涉及重新训练。适用范围上，它是一个可插拔的框架，挂在已有模型上使用；限制也在于此，它依赖中间层表示本身已经含有可分离的概念结构。
两项基准上的提升幅度
在 Qwen2.5-VL-7B 上，NeuronEye 把 CV-Bench 的总体准确率提高了 3.1，其中 Distance 一项的增益达到 9.5；BLINK 的 Multi-view 指标提升了 8.3。在 LLaVA-1.6-7B 上出现了相近的趋势。这些数字对应的是同一套做法在不同主干上的表现，说明稀疏概念词表不只可以当作事后解释工具，也能作为概念级视觉推理的主动接口。对关注视觉语言模型的读者而言，可参考的点在于：不改动主干权重、只加一层查询引导的激活与抑制，就能在涉及距离判断和多视角理解这类任务上拿到可测量的改善。
为什么值得看
针对VLM视觉特征隐式纠缠痛点，引入生物视觉机制实现特征解耦与查询精准激活，对提升推理准确性具参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。