研究揭示视觉语言模型仅能识别双层排版文字中的一层
论文AI 评分 65/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究构建DecoyBench数据集，含300张叠加锐利轮廓与柔和阴影双层文字的图像。验证表明人类可同时高准读取两层，而6个近期闭源视觉语言模型在高分辨率下仅能近乎人类准度提取轮廓层，几乎无法获取阴影层；在低分辨率下，模型与人类均无法读取轮廓层，却能高准提取阴影层。这表明此类模型在处理含多空间频率层的排版结构时存在一致的行为局限。该论文已被EMNLP 2026的DocInsights研讨会接收。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载双层排版数据集构建
为探究视觉语言模型在处理复杂排版时的脆弱性，研究者采用Decoy Font方法构建了DecoyBench数据集。该数据集由300张图像组成，每张图像均包含两层文字：一层为具有锐利轮廓线的文字，另一层为带有柔和阴影的文字，两层文字在视觉上相互叠加。这种设计模拟了现实中可能出现的多层级排版结构，为评估模型对不同空间频率文字的提取能力提供了测试基础。
模型与人类读取差异
研究对来自三个不同模型家族的六个近期闭源视觉语言模型进行了评估，测试条件涵盖朴素与引导两种提示方式，以及512x512和64x64两种分辨率。验证结果显示，人类参与者能够高准确率地同时读取两层文字。然而，在512x512高分辨率下，大多数模型变体及提示方法虽能以接近人类的准确率读取轮廓文字，却几乎无法完整提取阴影文字；而在64x64低分辨率下，模型与人类均无法读取轮廓文字，但都能高准确率提取阴影文字。
多空间频率处理局限
上述实验结果表明，被评估的视觉语言模型在处理包含多个空间频率层的排版结构时，表现出一种一致的行为局限性。模型对特定文字层的提取能力高度依赖于图像分辨率，且在相同分辨率下，其对不同视觉特征文字层的感知能力存在显著失衡，这与人类视觉系统能够灵活兼顾多层信息的表现形成鲜明对比。该研究已被首届文档智能与理解研讨会接收。
为什么值得看
揭示视觉语言模型在多层排版图像上的系统性识别缺陷，对文档理解与OCR抗攻击设计具重要参考价值。
论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。