BETS：用生成分布嵌入表示信念的蒙特卡洛规划器
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载信念规划难在哪
在部分可观测马尔可夫决策过程（POMDP）中，信念是给定动作与观测历史后对隐藏状态的后验分布，它概括了历史中关于状态的全部信息，因此在信念上做规划等价于在一个马尔可夫决策过程（MDP）上做规划。问题在于，即便 POMDP 本身状态有限，对应的信念 MDP 状态空间也是连续的，精确规划一般不可行。规划器只能近似信念并估计价值：蒙特卡洛规划器在搜索树内同时完成这两件事，每个节点放一个近似信念，每个叶节点放一个价值估计。常见近似由采样状态集合构成，叶节点价值来自 rollout、人工设计的界或学习到的网络，由此得到的策略与价值受近似质量限制，而此前使用学习网络的方法还依赖人工选定的采样状态摘要。
BETS 的做法
论文给出的 BETS 试图让信念表示同时满足三点：能从父节点的表示经 POMDP 动力学计算得到，允许搜索从中采样，并且可被学习以提供策略与价值函数所需的信息。BETS 用生成分布嵌入（GDE）表示每个节点的信念，并在搜索过程中通过 POMDP 动力学更新它。与依赖人工摘要的先前方法不同，BETS 把信念模型与策略网络、价值网络放在同一套经验中一起训练，信念模型的训练目标直接取 POMDP 实际发生的隐藏状态。这样，信念表示不是外部给定的特征，而是随策略与价值的学习一起被塑造。
评测结果与边界
实验在 RockSample、LightDark 和 PocMan 三个环境的六种配置上进行，对比对象是 BetaZero 以及三个不含学习组件的规划器。结果显示，BETS 在全部六项中要么具备竞争力、要么处于领先，而每个基线至少在其中一项上明显落后。论文特别指出，在信念维度最高的场景里，BETS 的领先幅度很大，并且这种优势在不进行搜索时同样存在。材料未给出各配置的具体分数、训练成本或代码开放情况，因此这些方面的实际表现尚无法从现有信息判断。
为什么值得看
把信念表示、策略与价值放在同一套经验训练流程里，并在高维信念场景拉开差距，对做 POMDP 规划与强化学习的人有直接参…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。