GUIFlow 提出 GUI 智能体全流程增量推理框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载重复计算带来的开销
基于视觉语言模型的 GUI 智能体在与不断变化的界面交互时，常规推理会把大量相互重叠的观测与历史反复重新计算一遍。这种重复使得多步交互的成本居高不下，而上下文、界面内容以及动作参数的变化，又让直接复用缓存变得不可行。GUIFlow 针对的正是这一矛盾，它把问题定位在多图像 GUI 交互的全流程增量推理上，而不是只在某一个环节做局部优化。
跨步骤复用计算状态
该框架的核心思路是：推进一次决策并不需要把全部支撑性表示重建一遍，每一步交互只需有选择地更新在整条轨迹中维护的计算状态。具体而言，历史 KV 状态经过位置对齐后被注入当前上下文；变化信号则用来指导视觉编码器与语言模型中对当前观测状态做选择性更新；此前的动作响应被当作推测性草稿，交由目标模型验证。这些机制合在一起，使视觉编码、预填充与解码三个阶段都能跨步骤复用，并且不需要额外训练、不需要单独的草稿模型，也不改动模型可见的输入与动作接口。
实测加速与适用范围
在离线多图像基准上，实验录得几何平均最高 3.39 倍的加速；在 OSWorld 的在线闭环交互中，加速比最高达到 3.49 倍，同时任务表现与稠密基线大体相当。与依赖缓存复用的既有做法相比，GUIFlow 的差异在于把复用贯穿到整条推理流水线，并用变化信号与草稿验证来处理上下文漂移，因此面对界面内容与动作参数变动时不必放弃复用。对读者而言，这意味着多步 GUI 交互的推理开销有望明显下降，而模型输入形式与动作接口保持不变，替换成本较低。
为什么值得看
多步 GUI 交互的重复计算是智能体落地的成本瓶颈，该方案不改接口即可提速数倍，值得关注其可迁移性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。