KL正则化离线Q学习首次获得快速率保证
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于arXiv的论文研究有限时域马尔可夫决策过程下的离线Q学习，并引入KL正则化。作者提出KLQ，一种经典Q学习的简单变体，证明其在无需显式悲观机制的情况下达到样本复杂度Õ(1/ε)，但该保证对KL正则化参数和时域呈指数依赖。为此作者进一步提出KLPQ，在KLQ中加入悲观机制，在保持Õ(1/ε)速率的同时去掉了显式指数依赖，从而改善样本复杂度。作者称这是表格型有限时域KL正则化MDP中离线Q学习的首个快速率保证。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载研究的问题设定
论文关注的是有限时域马尔可夫决策过程下的离线Q学习，并在其中加入Kullback-Leibler正则化。作者指出，已有研究表明KL正则化能在离线决策问题中带来快速率，但Q学习采用增量式随机逼近更新，它能否在离线场景下同样取得快速率此前并不清楚。论文正是围绕这一空白展开，目标是在表格型、有限时域的KL正则化MDP中给出Q学习的样本复杂度保证。
KLQ的速率与代价
作者先提出KL-regularized Q-Learning（KLQ），它是经典Q学习的一个简单变体。借助KL正则化，论文证明KLQ在不需要显式悲观机制的情况下，样本复杂度可达Õ(1/ε)。不过这一保证并非没有代价：它对KL正则化参数和时域都呈指数依赖，也就是说，当这两个量变大时，理论上的样本复杂度会迅速恶化，这构成了该方法的主要限制。
KLPQ去掉指数依赖
为处理上述限制，作者进一步提出KL-regularized Pessimistic Q-Learning（KLPQ），把悲观机制引入KLQ。论文证明KLPQ在保留同样Õ(1/ε)速率的同时，去除了显式的指数依赖，从而进一步改善了样本复杂度。作者表示，据其所知，这些结果构成了表格型有限时域KL正则化MDP中离线Q学习的首个快速率保证。
为什么值得看
离线强化学习的样本效率理论边界被推进，关注Q学习收敛速率的从业者可看具体假设与代价。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。