SGQN：自适应动作网格用于解耦Q学习，DMControl八任务测试
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法：自适应动作网格
连续控制中的基于价值的Q学习可以把动作空间离散化，但离散分辨率需要在早期探索与最终精度之间取舍。增长式Q网络（GQN）的做法是让分辨率从粗到细均匀增长。SGQN保留解耦Q学习，把均匀增长换成自适应动作网格：在高估计Q值的分箱旁边添加分箱，把低Q值的分箱剪掉，动作则用epsilon-greedy方式选择。论文在八个DeepMind Control Suite任务上评测，动作维度从2到12，每维可用分箱数为9个。
结果：四个任务回报最高
在这八个任务上，SGQN在四个任务中取得所比较方法里最高的平均最终回报，另有三个任务与最佳方法的差距在1.1%以内，Walker Run上比Bang-Bang MPO低3.4%。每维平均使用9个可用分箱中的7.5个。作者随后检验自适应网格本身是否解释了这些结果，结论是否定的：增长过程会激活每一个候选分箱，行为与均匀增长类似；去掉剪枝后回报变化至多1.1%。
真正起作用的两个选择
分析显示另有两项设计更关键。其一是从粗网格起步，因为一开始就使用全部9个分箱会产生崩溃的种子。其二是epsilon-greedy选择，改用退火softmax会使回报下降23%至100%。此外，SGQN对增长与剪枝的超参数不敏感。作者同时说明，SGQN与GQN、DecQN基线在其它方面存在差异，尤其是每环境步做一次梯度更新，而基线是每八步一次，这一差异未被控制，因此不把优势归因于单一组件。论文共19页、6图、6表，正在TMLR审稿中。
为什么值得看
给出增长式动作网格中哪些设计真正起作用的消融证据，并附DMControl多任务对比数据。
信源1 家
关键事实
SGQN保留解耦Q学习，用自适应动作网格替代均匀增长：在高估计Q值分箱旁新增分箱，剪除低Q值分箱，动作按epsilon-greedy选取。[1]
在八个DMControl任务（动作维度2至12）上，SGQN在四个任务上平均最终回报最高，三个任务与最佳方法差距在1.1%以内，Walker Run上比Bang-Bang MPO低3.4%，每维平均用9个分箱中的7.5个。[1]
作者检验发现自适应网格并不解释结果：增长会激活所有候选分箱、行为类似均匀增长，去掉剪枝对回报影响至多1.1%。[1]
从粗网格起步与epsilon-greedy选择才是关键：一开始用满9个分箱会产生崩溃的种子，退火softmax使回报下降23%至100%。[1]
SGQN与GQN、DecQN基线在其它方面有差异，尤其每环境步一次梯度更新而非每八步一次，未做控制，因此不将优势归因于单一组件。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。