MicroRTS 新方法：约束命令条件 PPO 加 Bandit 策略选择
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于 arXiv 的论文提出把实时策略游戏中的战略选择与单位控制拆开：由 Thompson 采样 bandit 充当「战略家」，依据游戏内观测估计对手策略，从命令元组中挑选目标；一个受约束的命令条件 PPO 策略充当「执行者」，把离散命令翻译成单位级动作。命令覆盖经济、兵种构成、军事姿态与工人策略，跨多个环境步生效。在与同架构、同预算、同课程与自对弈联盟训练的扁平 PPO 基线对比中，该系统在训练地图四个最强对手中的三个上胜率显著更高，包括两个最强的留出对手，胜率分别从 0.55 升到 0.97、从 0.01 升到 0.34，对其余对手无显著差异。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载战略与执行分离的动机
论文关注的问题是，深度强化学习智能体在实时策略游戏中虽然表现强劲，但面对训练分布之外的对手时容易变得脆弱。作者提出的思路是把战略层面的命令选择与学习得到的单位控制分开：这样就能针对不同对手选用不同策略，同时复用同一套执行策略。这一拆分要成立，需要两个前提——执行者能够跟随不同的命令，以及存在可度量的标准来判断它是否真的做到了。论文围绕这两点设计了执行者与评估方式。
执行者与战略家的分工
执行者是一个受约束的命令条件近端策略优化（PPO）策略，运行在 MicroRTS 这一实时策略环境中。离散命令用来指定战略目标以及行为要求，涉及经济、兵种构成、军事姿态和工人策略，并在多个环境步上持续生效；执行者则负责决定用哪些单位级动作去完成这些命令。战略家由一个 Thompson 采样 bandit 担任，它从游戏内观测中估计对手的策略，再据此挑选命令元组，而不是依赖对手身份信息。
与扁平 PPO 基线的对照结果
作者做了受控比较，基线是采用相同架构、相同预算、相同课程以及相同自对弈联盟训练的扁平 PPO。结果显示，战略家—执行者组合在训练地图上对阵四个最强对手中的三个时获胜次数显著更多，其中包含两个最强的留出对手，胜率分别从 0.55 提升到 0.97，以及从 0.01 提升到 0.34；面对其余对手时两者没有显著差异。论文以 arXiv 预印本形式发布，附带实验性 HTML 版本。
为什么值得看
把战略与执行解耦、用 bandit 选策略的思路，对需要应对分布外对手的强化学习智能体有参考价值。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。