注册

IGG 基准发布：要求智能体先让目标可见再点击，人类 94.6% 对开源 VL…

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究者提出交互式 GUI 定位基准 IGG，针对静态截图中目标已可见这一假设的失效场景：目标可能在屏幕外、需状态变化或悬停后才出现、被遮挡，或延迟后才可操作。IGG 含 601 个任务，覆盖 16 个可控 GUI 环境与七类可见性约束，动作空间仅滚动、移动、拖拽、等待、点击。人类准确率 94.6%，GPT-5.5 为 79.4%，最强开源 VLM 仅 31.6%。两项干预显示瓶颈在“执行揭示动作”：告知 Qwen3-VL 该做哪个交互只把准确率从 30.8% 提到 33.9%，替它完成交互则升至 81.9%。该能力可通过训练获得。论文被 EMNLP 2026 主会接收。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

基准要测什么

现有 GUI 定位基准默认目标已经出现在静态截图里，智能体只需指出位置。IGG 认为真实界面常不满足这一前提：目标可能在可视区域之外，要等界面状态改变或鼠标悬停后才出现，可能被其他元素遮挡，也可能延迟一段时间才变为可点击。这些情况要求智能体先通过操作把目标“揭示”出来，而这一步此前没有被单独评测。IGG 因此把任务定义为两步：先交互使目标可见，再点击它。基准共 601 个任务，分布在 16 个可控 GUI 环境中，按七类可见性约束划分子类型，动作空间只有滚动、移动、拖拽、等待和点击五种，以降低无关操作带来的干扰。

人机差距与瓶颈定位

人类受试者在 IGG 上达到 94.6% 的准确率，GPT-5.5 为 79.4%，而评测中最强的开源视觉语言模型只有 31.6%，差距明显。为找出差距来源，作者做了两组对照干预。第一组直接告诉 Qwen3-VL 应该执行哪个交互动作，其准确率仅从 30.8% 提高到 33.9%，说明“知道该做什么”帮助有限。第二组由外部替模型完成揭示交互，再让它点击，准确率跃升至 81.9%。两组结果指向同一结论：模型并非在目标暴露后认不出它，卡点在于自己动手执行那一步揭示操作。

能力可训练与发表情况

论文进一步表明这种可见性恢复能力是可以学习的，并称该能力能在不同模型家族之间得到一致增强，即通过训练而非仅靠提示就能改善模型主动操作界面以暴露目标的表现。该工作被 EMNLP 2026 主会接收，全文 24 页，并提供项目页面。对做 GUI 智能体的人来说，IGG 提供了一套区分“识别”与“操作”的评测口径：若模型在静态截图上表现良好却在 IGG 上大幅下滑，问题更可能出在交互执行环节，而非视觉定位本身。

为什么值得看

它把 GUI 智能体的评测从“看见就能点”推进到“先让目标出现”，并定位出瓶颈在动作执行而非识别。

GPTQwen智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源IGG: A Benchmark for Interactive GUI Grounding under Visibility Constraints

关键事实

  • IGG 包含 601 个任务，覆盖 16 个可控 GUI 环境和七类可见性约束子类型。[1]

  • 动作空间被压缩为滚动、移动、拖拽、等待、点击五种。[1]

  • 人类受试者准确率 94.6%，GPT-5.5 为 79.4%，最强开源 VLM 仅 31.6%。[1]

  • 告知 Qwen3-VL 应执行哪个交互，准确率仅从 30.8% 升至 33.9%；替其完成交互则升至 81.9%。[1]

  • 论文被 EMNLP 2026 主会接收，共 24 页。[1]

相关 · 论文

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

ALPS：分层规划让LLM模拟学生保持长期行为一致

11月1日 周日·AI 62

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论