注册

JHiMA-WebRL 用联合分层多智能体强化学习提升长程网页任务成功率

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究提出 JHiMA-WebRL，把任务分解器与执行器（actor）显式分离并联合训练，用于长程网页导航。做法是先用强教师模型从多模态 GUI 轨迹构造结构化子任务监督，微调分解器与子任务条件执行器，再把 GRPO 扩展到交互式 WebArena 环境，通过分层 rollout 分组与角色专属优势联合优化两者。在 WebArena-Lite-v2 上，由 7B 执行器与 7B 分解器组成的 JHiMA-WebRL-14B 平均成功率为 37.2%，同一协议下经 RL 微调的 ScaleCUA-32B 为 24%。消融显示，RL 阶段同时更新分解器优于只更新执行器。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

问题设定与思路

多模态网页智能体已能通过图形界面操作网站，但真实任务往往需要长程多步规划，单体策略难以同时完成高层规划、中间状态跳转、长交互历史中的进度跟踪以及视觉落地动作。已有模块化多智能体方案虽然引入独立规划器，但规划器通常不与执行器一起更新。该工作要验证的是：把规划与执行显式分开并联合训练，能否为长程网页导航提供更强的归纳偏置。

训练流程与优化方式

JHiMA-WebRL 把任务分解器与执行器耦合在一个框架内。训练分解器时，借助强教师模型从多模态 GUI 轨迹中构造结构化的子任务监督，再用这些标注同时微调分解器与以子任务为条件的执行器。随后把 Group Relative Policy Optimization 扩展到交互式 WebArena 环境，通过分层 rollout 分组和按角色区分的优势估计，让分解器与执行器在强化学习阶段一起优化，而不是只更新执行器。

评测结果与对比

在 WebArena-Lite-v2 上，JHiMA-WebRL-14B 由 7B 执行器与 7B 分解器组成，平均成功率达到 37.2%。作为对照，ScaleCUA-32B 在同一批训练任务上做 RL 微调、并在相同协议下评测，成功率为 24%。消融实验进一步显示，在 RL 过程中同步更新分解器，效果优于只更新执行器。作者据此认为，联合学习角色分工配合更小的模型，可以作为长程网页任务中扩大单体智能体规模之外的一种有竞争力的选择。

为什么值得看

小模型通过联合学习角色分工，在长程网页任务上超过更大的单体智能体，为网页智能体提供了一条不靠堆参数规模的路线。

多模态智能体微调强化学习

信源1 家

  1. [1]arXiv cs.AI一手信源JHiMA-WebRL: A Joint Hierarchical Multi-Agent Reinforcement Learning Framework for Long-Horizon Web Tasks

关键事实

  • JHiMA-WebRL 将任务分解器与执行器分离，并在强化学习阶段联合更新两者[1]

  • 训练时先用强教师模型从多模态 GUI 轨迹生成结构化子任务监督，用于微调分解器与子任务条件执行器[1]

  • 方法把 GRPO 扩展到 WebArena 环境，采用分层 rollout 分组与角色专属优势[1]

  • 在 WebArena-Lite-v2 上，7B 执行器加 7B 分解器的组合平均成功率为 37.2%[1]

  • 同一训练任务与评测协议下，经 RL 微调的 ScaleCUA-32B 成功率为 24%[1]

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

11月6日 周五·AI 72

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

11月5日 周四·AI 68

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

11月5日 周四·AI 78

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%

11月5日 周四·AI 82

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论