FERPO算法提出：用正向KL替代動作微分提升連續控制RL可靠性
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載不靠動作梯度更新策略
FERPO 是一種在線、同策略的最大熵強化學習算法，其核心做法是在改進策略時只使用評論家給出的價值，而不對評論家做關於動作的求導。論文指出，連續控制領域的若干主流在線強化學習方法依賴學習到的評論家對動作的梯度來改進策略，但評論家的訓練目標通常是預測回報，價值預測得準並不代表它對動作的導數也準，這會讓策略更新變得不可靠。FERPO 繞開了這一環節，因此不把評論家的動作梯度作為策略改進的依據。
先定目標分佈再擬合
該方法的流程是先從一個策略改進目標出發，推導出一個最優的目標動作分佈，這個目標同時受到熵正則與 KL 散度正則的約束。隨後讓演員去擬合這個目標分佈，擬合時最小化的是前向 KL 目標，並用自歸一化重要性採樣（SNIS）來估計，所用動作取自 rollout 策略。由於 KL 正則限制了目標分佈相對 rollout 策略的偏移幅度，重要性權重得以保持在較可控的範圍內。與反向 KL 目標可能只偏向目標分佈的某一部分模態不同，前向 KL 目標鼓勵覆蓋多個高價值模態，從而有利於探索。
實驗表現與更新速度
論文在 MuJoCo Playground 與 ManiSkill 上做了實驗和消融，報告了有競爭力的性能以及樣本效率方面的提升。計算基準測試還顯示，其演員更新速度快於 Relative Entropy Pathwise Policy Optimization（REPPO）。論文提交於 2026 年 10 月 1 日，作者為 Sebastian Sanokowski、Alireza Sarmadi 與 Majid Khadiv，編號 arXiv:2610.02198，屬於 cs.LG，並交叉列入 cs.AI、cs.RO 與 stat.ML。對關注連續控制在線強化學習的讀者而言，這意味着策略改進可以不再依賴評論家的動作導數，同時前向 KL 的擬合方式在探索覆蓋與更新開銷上提供了另一種取捨。
為什麼值得看
解決連續控制RL中Critic動作微分不可靠痛點，以正向KL促探索並提升採樣與計算效率。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。