AdaGround：免训练自适应缩放框架提升 GUI 定位精度
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 论文提出 AdaGround，一个免训练框架，用于解决高分辨率屏幕上的 GUI 定位难题。它由三部分组成：Token-Normalized Adaptive Zooming 依据模型自身对目标尺寸的估计，决定每个样本的放大倍数、视野和缩放深度；Verifier-in-the-Loop Refinement 用一个带标记点击的 Yes/No 验证器，决定保留还是拒绝每次缩放、在缩放链之间做选择、触发重新定位，并通过存在性查询决定何时弃答；Compositional Structure Grounding 则根据表头组合电子表格单元格。在 Qwen3-VL 模型上，该方法在 OSWorld-G 与 ScreenSpot-Pro 上比骨干模型提升 7.4 至 20.6 个百分点，并超过现有免训练缩放方法与不少经过训练的 GUI 模型，增益在留出的 UI-Vision 上同样成立。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载缩放为何失效
高分辨率屏幕上的 GUI 定位主要在小目标上出错，放大是常见的免训练补救手段。但现有缩放流程大多不按目标尺寸决定放大程度，对放大后的答案无条件接受，也不会回头纠正错误答案。AdaGround 针对这三点设计，且全程不训练模型，可直接套在已有视觉语言模型上。
三个组件的分工
Token-Normalized Adaptive Zooming 根据模型自己对目标尺寸的估计，为每个样本设定放大倍数、视野范围和缩放深度，使缩放强度与目标大小匹配。Verifier-in-the-Loop Refinement 引入一个带标记点击的 Yes/No 验证器，用来保留或拒绝每次缩放、在多个缩放链之间做选择、触发重新定位，并借助存在性查询判断何时应当弃答而非强行给出坐标。Compositional Structure Grounding 处理表格类界面，从表头出发组合出单元格位置。
实测提升幅度
在 Qwen3-VL 系列模型上，AdaGround 的精度超过当前免训练缩放方法，也超过不少经过训练的 GUI 模型。在 OSWorld-G 与 ScreenSpot-Pro 两个基准上，相对骨干模型的准确率提升为 7.4 到 20.6 个百分点，且这些增益在留出的 UI-Vision 上依然成立，说明提升并非只对特定基准有效。论文附带 24 页正文、5 张图和 14 张表，代码已开放获取。
为什么值得看
免训练即可在多个 GUI 定位基准上大幅超过骨干模型，对做屏幕智能体与高分辨率界面定位的团队有直接参考价值。
Qwen论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。