平均奖励Q学习提出混合正则化方法，给出有限时间分析
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题设定与核心思路
平均奖励强化学习长期存在一个技术障碍：它的Bellman算子只有在底层马尔可夫链满足混合条件时，才在span范数下收缩。以往工作通常直接把这一收缩性质当作前提，例如假定环境本身具有混合性。这篇论文换了一条路：不要求环境自带混合性，而是假定手上有一个与奖励无关的m步混合策略，然后让学习过程向这个策略做正则化。这样做的效果是，所学策略的收缩性与探索性不再依赖环境假设，而是由正则化项来调节。作者由此把问题从「环境是否足够好」转成「如何用正则化控制算子性质」，并围绕这一框架展开有限时间分析。
理论结果与速率对比
论文给出了Q学习算法的有限时间分析，且该分析可以套用到多种不同的正则化选择上，保证是以正则化后的不动点为基准来衡量的。框架中出现了若干依赖具体正则化的新对象，它们分别控制收缩、探索与算子偏差，这解释了为什么不同正则化会带来不同的收敛表现。在一步设定下，作者得到的速率与Q迭代和同步Q学习已知的最优速率相同；当混合步数扩展到m步时，则给出了新的速率结果。这部分的价值在于：把原本依赖环境混合假设的收敛保证，替换成依赖正则化选择的保证，并保持了与已有最优结果的可比性。
Q规划与视界权衡
论文还考察了Q规划的若干变体，并给出一个解释：规划可以看作时间局部化的学习。在这个视角下，规划视界H扮演权衡角色——视界越长，边界值带来的偏差越小，但所需的样本复杂度上升；视界越短则相反。这一刻画把规划深度与统计代价联系起来，为选择规划视界提供了理论依据，而不只是经验调参。对于同时关心规划类算法与样本效率的读者，这部分给出了一个可操作的权衡框架。
数值验证与正则化排序
数值研究验证了理论的两点预测。第一，如果已知一个较强的混合策略，收敛与探索都会变好，而且这种优势随着瓶颈严重程度上升而扩大，说明该方法在困难环境中的收益更明显。第二，理论能够预测α散度族中不同正则化的收敛与偏差排序，即哪些正则化收敛更快、哪些偏差更小，实验与预测一致。论文正文10页，参考文献与附录56页，含8张图，目前处于审稿状态，涉及机器学习、人工智能、优化与控制、统计机器学习等分类。
为什么值得看
把平均奖励RL的收缩性假设换成可控正则化，并给出速率与规划权衡，适合做RL理论与算法的人细读。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。