G2MAF提出多智能体强化学习测试时策略优化框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载冻结策略的一次性执行
离线多智能体强化学习从固定数据集中学习协作策略，整个过程不再与环境发生交互。训练完成后，策略在部署阶段被冻结，不再更新参数。这种冻结策略在部署时通常只给出一个联合动作，并直接执行该动作。论文指出，这种一次性部署方式容易锁定在一个并非最优的提案上，即便行为数据中仍存在与数据分布一致、且更接近更优解的邻近备选动作，策略也不会去选择它们。问题的根源在于部署阶段缺少对提案进行再调整的机制，动作一旦生成就被当作最终结果使用。
测试时梯度引导的修正
为应对上述问题，作者提出 Gradient Guided Multi Agent Flow（G2MAF），一个在测试阶段对联合策略进行优化的精炼框架。它的做法是施加一个经过全局归一化并投影的 critic 梯度，用这一梯度去引导和协调所有智能体的修正方向。修正过程中同时施加两项约束：动作需要保持可行，并且要与冻结策略给出的原始提案保持接近。这样既让动作向更优方向移动，又不至于偏离行为数据所支持的范围。该框架针对的是联合策略层面的优化，而非单独调整某一个智能体。
24 个设置下的增益
论文在 24 个 MPE 与 SMAC 设置上进行了评估。其标准变体在 20 个冻结设置上取得改进，MPE 上的平均相对增益为 9.2%，SMAC 上为 8.9%。与此同时，模型推理延迟仅增加约 6%。这组数字说明改进并非以大幅牺牲推理速度为代价，增益是在原有冻结策略基础上叠加测试时修正得到的。论文全文含附录共 24 页，提交时间为 2026 年 9 月 25 日，作者为 Guowei Zou、Haitao Wang、Guoxin Wang、Zhiquan Chen、Beiwen Zhang、Guojie Wang、Hejun Wu。
适用边界与读者意义
G2MAF 的定位是测试时的精炼框架，因此它不改变离线训练阶段，也不要求与环境继续交互，适用于已经训练完成、部署后被冻结的多智能体策略。它的修正依赖 critic 梯度，并需要保证动作可行且贴近原提案，这意味着其效果受限于行为数据中是否存在更优的邻近备选。对使用离线多智能体策略的读者而言，这一方法提供了一条在不重新训练的前提下提升部署表现的路径，代价是推理延迟的小幅上升；论文给出的增益与延迟数据可作为判断是否引入该修正的参考。
为什么值得看
以极低延迟代价显著提升离线多智能体策略部署效果，为测试时策略优化提供新思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。