AI 圈大事记

新基准ARCH-B评估多模态模型跨建筑表征理解能力

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

Kieran Sagar Parikh等人提出ARCH-B基准,测试多模态模型识别同一建筑在不同视觉媒介(如照片、平面图、渲染图)下的能力。该基准含354道四选一题,涵盖11种跨表征原型,源自390万张建筑图像语料库,经相似干扰项、模型引导难度筛选及人工验证构建。对25个模型的评测显示,其准确率介于10.45%至83.90%,非专业人类基线为35.35%。模型在平面图与照片对应上表现较弱,且人机难度相关性仅0.33,表明模型缺陷与人类不同。

为什么值得看

揭示多模态模型在跨表征视觉对应上的短板,提供诊断建筑媒介表征迁移的专属工具。

多模态

信源1 家

  1. [1]arXiv cs.AI一手信源ARCH-B: Architectural Representation, Comprehension and Hierarchy Benchmark

关键事实

  • ARCH-B基准包含354道四选一题,覆盖11种跨表征原型[1]

  • 基准数据源自390万张建筑图像语料库并经人工验证[1]

  • 25个多模态模型准确率介于10.45%至83.90%,人类基线为35.35%[1]

  • 模型在平面图与照片对应上较弱,人机难度相关性仅为0.33[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。