多模态大模型被指漏读图像中的「眯眼文字」，新方法将 ANLS 从 26.50 …
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载被命名的识别缺陷
论文关注一类具体失败：图像中的文字嵌在整体粗结构中，人通过眯眼可以恢复，多模态大模型却判断图中没有文字。作者把这类内容称为 Squint Text，并把它当作识别缺陷来研究，而不是笼统的幻觉问题。研究动机并非构造的假设场景，而是生产内容审核流水线中出现的真实案例，这意味着该缺陷会直接影响实际审核判断。为便于衡量，作者构建了 SquintBench，由 1076 张来自生产环境的审核图像组成；同时提供受控合成套件 SquintCtrl，用于诊断背后的机制，而非只给出一个分数。
瓶颈在空间选择
在冻结权重条件下分析模型内部表征，作者发现隐藏文字确实留下了粗粒度信号，但字形身份的表征很弱。当把正确的空间区域提供给模型后，字形身份信息变得明显更易获取，这指向空间选择是主要瓶颈：模型并非完全没有看到线索，而是没有把注意力落到该看的位置。另一项观察是，在固定的视觉 token 预算下抑制高频内容也能改善读取，视觉 token 数量本身可能也有影响。这些结论把问题从「模型能力不足」细化为可定位的环节，为后续训练方法提供了依据。
用特权上下文监督学生
基于上述诊断，作者提出 Squint OPSD。训练阶段，冻结的教师模型接收降采样视图，同时把真实转写作为特权上下文，其 token 级分布用来监督学生模型沿同策略轨迹学习。推理阶段学生只读取原始图像，不需要降采样视图或任何辅助输入，这一点决定了方法能否直接用于既有流程。在 SquintBench 上，该方法达到 88.61 ANLS；未适配的主干为 26.50，原图视图下最好的通用模型为 24.44，降采样视图下现成模型最高为 68.60。作者称这些结果显著缩小了可用视觉证据与模型生成读出的差距。
为什么值得看
揭示了多模态模型在真实审核图像上的系统性漏读，并给出无需辅助视图的改进路径与量化对比。
信源1 家
关键事实
论文将「人眯眼可辨、模型却报告无文字」的现象命名为 Squint Text，并作为识别缺陷研究，动机来自生产内容审核流水线案例。[1]
SquintBench 包含 1076 张来自生产环境的审核图像，另有受控合成套件 SquintCtrl 用于机制诊断。[1]
冻结权重分析显示隐藏文字留有粗粒度信号但字形身份表征弱，提供正确空间区域后身份信息明显更易获取。[1]
Squint OPSD 在 SquintBench 上取得 88.61 ANLS，未适配主干为 26.50，原图下最好的通用模型为 24.44，降采样视图下现成模型最高为 68.60。[1]
Squint OPSD 训练时由冻结教师接收降采样视图与真实转写作为特权上下文，推理时学生仅读取原图。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。