GUI-JEPA：免解码的移动 GUI 智能体策略，参数仅 6% 却快 2.8…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么绕开逐 token 解码
现有移动 GUI 智能体多由 7B 级视觉语言模型微调而来，每个动作都以文本形式生成，需要逐 token 解码；即便是先给候选动作打分的方案，也仍要把大语言模型或视觉语言模型留在推理链路里，因此速度慢、显存占用高。GUI-JEPA 的出发点是把动作选择从文本生成搬到潜空间：编码器先在无标注 GUI 截图上预训练，动作不再被写成字符串，而是在潜变量层面被比较和挑选，从而省去解码环节。
候选打分怎么做到一次前向
方法的核心是动作与区域条件化的潜变量预测器：它把整屏的潜表示转换成每个候选动作对应的一个潜变量，再由轻量头在一次批量前向中把所有候选与指令对照打分。整个过程不产生任何动作 token，因此不需要自回归解码。作者还检验了打分器是否真的依赖这条潜变量通路，并考察了预测器的训练目标——结果显示，随机初始化的预测器与在屏幕动态上预训练的预测器效果相当，说明该模块是围绕决策本身训练的，而非依赖对界面变化的预建模。
速度与精度的取舍数据
在 AndroidControl 基准上，GUI-JEPA 与作者用相同输入微调的 Qwen2.5-VL-7B 智能体在同一块 GPU 上对比：前者快 2.8-4.0 倍，参数量只有后者的 6%，分布内准确率则达到后者的 86-92%。这组数字说明该路线以一部分精度换取显著的推理速度和模型体积优势，适合对延迟和内存敏感的场景。论文共 26 页、11 幅图、16 张表，代码已公开。
为什么值得看
用潜空间打分替代逐 token 解码，在参数和速度上同时压缩 GUI 智能体成本，为端侧部署提供可参考的路线。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。