arXiv 论文提出零和 POSG 的保守策略迭代算法
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿至 arXiv cs.AI 的论文给出面向有限时域零和部分可观测随机博弈（zs-POSG）的近似策略迭代方法。与依赖中心价值函数的点式求解器不同，该方法为每名玩家各维护一个策略，并沿保守策略更新所产生的占用轨迹对两者联合更新；每次更新只用当前联合策略诱导出的一个支撑超平面，不再逼近完整中心价值函数。算法在局部策略改进、保守更新与持续探索之间交替，把计算集中在当前联合策略可被利用的占用区域。在有限时域 zs-POSG 基准上，小规模时域下表现有竞争力，较大时域下相对 PBVI、HSVI 与 CFR+ 常能改善运行时间与可利用度之间的权衡。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法的核心改动
现有基于点的求解器通常优化一个中心价值函数，以此恢复 Bellman 递推，但代价是必须在高维占用空间上做点式更新。这篇论文换了一条路径：不再逼近完整的中心价值函数，而是为每名玩家各保留一个策略，让两个策略沿保守策略更新所诱导的占用轨迹一起变动。每次更新只依赖当前联合策略给出的一个支撑超平面，计算因此被引导到当前联合策略仍可被利用的占用区域，而不是铺满整个占用空间。
算法结构与适用场景
算法由三部分交替组成：局部策略改进、保守更新与持续探索。保守更新限制单步改动的幅度，使占用轨迹的变化保持在可控范围内；持续探索则避免求解过程过早锁定在局部区域。论文将该方法定位在有限时域的零和部分可观测随机博弈上，属于博弈求解与规划方向的工作，关注点在于占用状态约简之后如何降低求解的计算负担。
基准上的表现
在有限时域零和 POSG 的基准测试中，该方法在较小时域上与其他方法相比具有竞争力；在较大时域上，相对 PBVI、HSVI 与 CFR+ 这几类已有求解器，常能改善运行时间与可利用度之间的权衡。论文未在摘要中给出具体的数值提升幅度，因此可比较的结论限于上述定性描述。
为什么值得看
若关注多智能体博弈求解与部分可观测场景，这篇论文给出了一条绕开高维占用空间点式更新的替代思路。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。