SafeAdapt-Poker 提出对手行为漂移下的预算化自适应方法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿 arXiv cs.AI 的论文提出 SafeAdapt-Poker,把对手行为发生漂移后的预算化自适应建模为双重反事实序贯控制问题,且只使用每次决策前可获得的信息。控制器在每次决策时回答两个问题:偏离冻结锚点会带来多大局部下行风险,以及现在消耗剩余偏离预算会损失多少未来自适应价值。前者由关于偏离强度的单调策略风险模型回答,后者由配对预算状态延续模型给出当前预算消耗的定价。方法用路径累积 KL 账本约束相对锚点的总偏离,并在留出交互前用完整配对校准会话筛选有限个冻结控制器。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题设定与两个提问

论文关注的是对手历史在行为发生漂移后会误导决策的情形,并把预算化自适应写成双重反事实序贯控制问题,约束是只能使用每次决策之前可获得的信息。控制器在每一步提出两个不同的问题:一是若偏离冻结锚点,在匹配的合法后续下会引发多大的局部下行;二是若现在就用掉一部分剩余偏离预算,会损失多少未来的自适应价值。这两个问题分别对应方法中的两个模型,构成后续候选偏离取舍的基础。

风险与预算的建模方式

第一个问题由关于偏离强度的单调策略风险模型回答,即把偏离程度映射为策略风险。第二个问题由配对预算状态延续模型回答,该模型为当前消耗预算的行为定价,也就是估计继续保留预算所能带来的价值。控制器在保持支撑集的候选偏离之间做选择,依据是把即时自适应价值与上述两个量进行权衡。总偏离由路径累积 KL 账本约束,使其相对锚点不会无限扩大;同时在进入留出交互之前,先在一批完整的配对校准会话上筛选有限个冻结控制器。论文还给出有限候选扰动界,说明分配目标会随延续价值估计误差连续退化。

评测覆盖与关键数值

评测范围包括精确博弈中的利用与安全性、四种对手漂移、局部风险校准、延迟机会分配、机会价值直接估计、价值误差鲁棒性、因子机制归因、预算敏感性、abstract-HUNL 交叉对局,以及按玩家与时间留出的公开历史行为。在 exact Leduc 上,完整控制器取得 +0.0718 的匹配弱池收益,最差对手 delta 为 -0.0126;在相同会话预算下,延迟机会捕获率从短视分配的 0.6318 提升到 0.7841;abstract-HUNL 交叉对局达到 +42.7 mbb/hand。保留的公开历史筛选报告动作准确率 0.5820、对数损失 0.9277,作为对照的公开先验为 0.5039 与 0.9778。

为什么值得看

给出预算受限下应对对手策略漂移的可校准控制框架,并附多项博弈与公开历史行为评测数据。

定价论文

信源1 家

  1. [1]arXiv cs.AI一手信源SafeAdapt-Poker: Counterfactual Risk Calibration for Budgeted Adaptation under Opponent Shift

关键事实

  • 论文将对手漂移下的预算化自适应表述为双重反事实序贯控制问题,仅使用每次决策前可得的信息[1]

  • 控制器分别用单调策略风险模型评估偏离锚点的局部下行,用配对预算状态延续模型为当前预算消耗定价[1]

  • 方法通过路径累积 KL 账本约束相对锚点的总偏离,并在留出交互前用完整配对校准会话筛选有限个冻结控制器[1]

  • 在 exact Leduc 上,完整控制器取得 +0.0718 的匹配弱池收益,最差对手 delta 为 -0.0126[1]

  • 延迟机会捕获率由短视分配的 0.6318 提升到同一会话预算下的 0.7841,abstract-HUNL 交叉对局达到 +42.7 mbb/hand[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。