研究利用OCR头部解析视觉语言模型语义
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一项研究通过分析视觉语言模型（VLM）中的光学字符识别（OCR）注意力头部，发现这些头部具有通用性，能输出可解释的语义特征。研究将这些头部的注意力权重转化为“语言化透镜”变换，从隐藏状态中提取语义标签，证明图像表征在早期层即与语言对齐。此外，利用该变换的逆操作可编辑非文字概念，如将图像中的拖拉机替换为左轮手枪。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载OCR头部的通用性
研究团队探讨了视觉语言模型如何将像素映射为语义，重点聚焦于模型执行光学字符识别（OCR）的能力。在测试的四个模型中，研究人员识别出了对OCR任务起因果必要作用的注意力头部。实验发现，这些头部并非仅限于处理文字，而是通用的语义特征提取器。例如，当将这些头部指向包含单词“bike”的图像标记时，模型会输出“bike”；而指向鸟翅膀图像时，模型则输出“feathers”。
语言化透镜变换
为了深入理解这些机制，研究人员将这些特定头部的注意力权重坍缩为一个单一的“语言化透镜”变换。该变换能够揭示所有层隐藏状态中可解释的语义特征。当结合到词汇空间的投影时，研究人员发现从模型的第0层开始就能获得可解释的标签。这一结果表明，图像表征在模型的早期层就已经与语言实现了对齐，而非仅在高层处理中才出现语义关联。
图像编辑应用
研究进一步探索了该变换的实际应用潜力。通过使用该变换的逆操作，研究人员能够对非文字概念进行编辑。实验展示了在自然图像中将拖拉机替换为左轮手枪的案例。这一发现提供了因果证据，证明识别出的子空间不仅对OCR任务有用，对于更广泛的图像语义处理和编辑同样具有价值，为解决更广泛的模型可解释性问题提供了参考。
为什么值得看
揭示了VLM内部语义对齐机制，提供了模型可解释性与图像编辑的新方法。
对齐
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。