MA-WAM:首个多智能体流策略测试时世界模型规划框架

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对多智能体协同需同时执行联合动作且动作间存在依赖的问题,提出MA-WAM框架。它为冻结的多智能体流策略提供候选联合动作未来评估能力,是首个此类测试时规划器。在MAMuJoCo等3个基准的30个离线MARL设定下,相比直接执行与均匀动作选择,分别获得22.0%与25.6%的平均相对增益。A100上评估仅增加12.1毫秒,占生成评分总耗时2.5%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把世界模型搬进多智能体

多智能体协作任务里,若干智能体需要同时执行一个联合动作,而每个智能体的动作又会同时改变其他智能体看到的观测和它们各自的反应。要判断一组联合动作好不好,就需要一个世界模型去预测整支队伍能拿到的团队回报。最直接的做法是把单智能体的世界模型分别套到每个智能体身上,再一步步推算团队回报。论文指出,这种朴素扩展抓不住多个智能体同时动作之间的相互依赖关系,因此预测会失真。MA-WAM 的思路是让一个已经冻结、不再训练的多智能体流策略去评估候选联合动作的未来,把预测和打分放在测试阶段完成,而不是改动策略本身的参数。

跨智能体依赖怎么算

MA-WAM 是一个面向测试时规划的框架,它按照跨智能体的依赖关系来推断每一个联合动作会带来什么后果,并据此对候选动作做高效打分。作者称,这是首个针对多智能体流策略的测试时世界模型规划器。与直接执行策略输出、或对所有候选动作一视同仁地均匀选择相比,这套打分机制能在不重新训练策略的前提下筛出更优的联合动作。由于策略保持冻结,规划环节只负责评估未来,因此它更像是在已有策略之上叠加的一层决策筛选,而不是替换原有方案。

30 个设定与增益幅度

论文在 MAMuJoCo、SMAC 和 MPE 三个平台上共 30 个离线多智能体强化学习设定中做了评测。相对直接执行策略,MA-WAM 取得的平均相对增益为 22.0%;相对均匀动作选择,平均相对增益为 25.6%。这两个数字分别对应两种不同的对照基线:前者是策略原本的输出,后者是不做区分的候选挑选方式。也就是说,规划带来的提升是在同一套冻结策略之上额外获得的,而不是靠换一个更强的策略。

额外开销与适用边界

在 A100 GPU 上按标准评测协议测量,MA-WAM 引入的额外耗时是 12.1 毫秒,占所测生成与打分总时间的 2.5%。这意味着规划环节的代价相对有限,主要时间仍花在生成和打分本身。论文全文含附录共 40 页,提交于 2026 年 9 月 25 日,作者为 Guowei Zou、Haitao Wang、Guoxin Wang、Beiwen Zhang、Zhiquan Chen、Guojie Wang 和 Hejun Wu。对关注多智能体决策的读者来说,这套方法的适用范围是离线多智能体强化学习设定下的测试时规划,前提是已经存在一个可用的多智能体流策略。

为什么值得看

首个针对多智能体流策略的测试时规划器,以极低延迟实现超20%性能提升,对MARL落地极具价值。

智能体GPU

信源1 家

  1. [1]arXiv cs.AI一手信源MA-WAM: Multi-Agent World-Action Model for Test-Time Planning

关键事实

  • MA-WAM是首个用于多智能体流策略的测试时世界模型规划器[1]

  • 在30个离线MARL设定下,相比直接执行和均匀选择,平均相对增益分别为22.0%和25.6%[1]

  • 在A100 GPU标准评估下,MA-WAM增加12.1毫秒,占生成与评分时间的2.5%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。