新方法ALBUM实现无目标网络的离线强化学习
论文AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对离线强化学习依赖目标网络与EMA更新的现状，研究提出Lifted Bellman线性规划（LBLP），将Bellman最优性表征提升至联合(Q,V)空间，使约束仅涉及数据集中的状态动作对。其唯一极小值为样本内最优对，沿轨迹K步段保持不变。将约束松弛为铰链惩罚可得相同解，据此实现的无约束最小化方法ALBUM无需目标网络或EMA更新，且无需离策略修正。在OGBench上，单评论家高斯策略的ALBUM匹配FQL平均性能，可比肩动作分块法，且参数量最少、峰值GPU内存最低。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载LBLP核心构建逻辑
传统离线强化学习通常通过最小化回归损失训练评论家，依赖目标网络与指数移动平均（EMA）更新来稳定自举价值目标，且多步目标需离策略修正。该研究另辟蹊径，通过不等式约束对评论家施加样本内Bellman最优性。由此构建的Lifted Bellman线性规划（LBLP）将Bellman最优性的线性规划表征提升至联合(Q,V)空间，确保每个约束仅涉及数据集中的状态动作对。其唯一极小值即为样本内最优对，且沿数据集轨迹的K步段，该极小值对任意展开策略与视野均保持不变。在确定性动态下，此极小值介于最优数据集回报与最优价值之间。
ALBUM方法与实验表现
将LBLP的约束松弛为铰链惩罚后，在表格型情况下，超过有限惩罚系数即可恢复相同解。基于此松弛实现的近似无约束最小化方法ALBUM采用神经网络，并通过停止梯度分离K步展开目标。其目标函数不包含对自举目标的平方回归，故训练完全无需目标网络或EMA更新。在确定性动态下，LBLP解是满足与折扣因子和K无关系数条件的分离更新驻点，不等式约束允许数据集轨迹折扣回报作为下界，无需离策略修正或动作分块。在OGBench评测中，采用单评论家与高斯策略的ALBUM匹配了FQL的平均性能，与近期动作分块法可比，且在所有对比方法中使用了最少参数与最低峰值GPU内存。
为什么值得看
ALBUM摆脱了离线RL对目标网络和EMA的依赖，以最少参数与显存达到SOTA可比性能，简化训练流程。
强化学习GPU数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。