FERPO算法提出：用正向KL替代动作微分提升连续控制RL可靠性

针对连续控制在线强化学习中，基于Critic动作微分更新策略易因价值预测不准而不可靠的问题，FERPO算法被提出。它属于在策略最大熵RL算法，无需对Critic求动作导数即可改进策略。该算法从经熵与KL散度正则化的目标推导出最优目标动作分布，再用自归一化重要性采样估计正向KL目标来拟合Actor。KL正则化限制目标分布偏离以稳定权重，正向KL相对逆向KL能覆盖多高价值模式促探索。在MuJoCo Playground与ManiSkill上展现竞争力与采样效率提升，Actor更新比REPPO更快。