DeltaReplay:移动GUI智能体的步级记忆复用框架
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载记忆复用的两难
记忆增强型移动GUI智能体会保存成功的执行轨迹,供后续任务复用。但存储的轨迹很少与新任务完全吻合:新任务可能使用不同参数,可能只与旧轨迹共享部分步骤,也可能在记忆里根本没有相关记录。若强行让智能体使用无关记忆,反而会误导它;若直接丢弃可能仍有用的记忆,又失去了过往经验的指引。论文正是针对这一取舍提出方案,核心思路是不改动已有记忆本身,而是改变使用记忆的方式。
把轨迹存成转移图
DeltaReplay把执行轨迹表示为转移图中的路径,图中的节点对应页面,边对应页面之间的动作。作者观察到,一条存储记录中可复用的部分并不由记录自身决定,而取决于它与新任务的关系,主要通过两个因素体现:页面级一致性与动作级通用性。转移图的节点与边正好承载这两类信息,因此成为判断复用价值的基础结构。
逐步决定怎么用
在复用阶段,框架把每条边上的动作拆成两部分:与任务无关的操作,以及与任务相关的参数。随后DeltaReplay将每条记录步骤与新任务、当前屏幕进行比对,据此做出三种选择之一:直接跟随该步骤、替换参数后再执行,或者放弃该步骤交由基础智能体处理。这种逐步判断的方式,使智能体在轨迹只部分匹配时也能获得收益,而不是在整条轨迹匹配与否之间二选一。
基准上的提升
论文在AndroidWorld与SPA-Bench两个基准上进行了评测。在与基础智能体使用相同骨干模型的条件下,DeltaReplay把任务成功率分别最多提升了10.3个百分点和25.0个百分点。作者据此认为,在每一步决定如何使用检索到的记忆,能让智能体即便面对部分匹配的轨迹也从中获益。
为什么值得看
给出逐步判断检索记忆可用性的具体做法,部分匹配的轨迹也能被利用,并附两个基准上的成功率提升数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
