Jev-Mobile解耦VLM規劃與執行，降低手機GUI代理成本
論文AI 評分 72/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
針對現有手機GUI代理因視覺語言模型(VLM)同時負責規劃與動作落地導致的高延遲與高成本問題，Jev-Mobile提出低頻VLM規劃與高頻輕量執行的新範式。VLM設定局部目標，結合無障礙樹構建可執行動作空間，由快速決策模型Jev反覆選擇動作。單次VLM決策可執行多步GUI操作。在AndroidWorld測試中，其任務成功率達79%（SeeAct-V為78%，逐步VLM基線為84%），但成功軌跡的平均端到端執行時間縮短32.7%，模型API成本降低73.4%。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載解耦規劃與執行範式
當前基於視覺語言模型(VLM)的自主手機GUI代理，通常在幾乎每步交互中都依賴VLM進行規劃與動作落地，引發顯著延遲及模型服務開銷。Jev-Mobile改變了這一機制，轉向低頻VLM規劃搭配高頻輕量執行。具體而言，VLM僅負責設定局部目標，無障礙樹提供結構化可執行動作空間，隨後由快速類型化決策模型Jev在該空間內反覆挑選動作。此設計允許單次VLM決策下執行多步GUI操作，從而減少昂貴的VLM推理頻次，同時保留自適應交互能力。
性能與效率對比數據
在完整的AndroidWorld任務套件評測中，Jev-Mobile取得了79%的任務成功率。作為對比，SeeAct-V的成功率為78%，逐步VLM基線為84%。儘管任務成功率略低於逐步VLM基線，但在成功軌跡中，Jev-Mobile的平均端到端執行時間縮減了32.7%，平均模型API成本大幅下降73.4%。這表明將高層VLM推理與低層動作執行分離，能在維持具備競爭力的任務表現的同時，實質性提升手機GUI代理的運行效率。
為什麼值得看
大幅削減手機GUI代理的執行耗時與API開銷，同時保持任務成功率基本不降，對移動端自動化降本增效極具參考價值。
API
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。