Geo-FSRL：为少步流模型强化学习优化随机策略几何
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 Geo-FSRL，针对少步流模型在 GRPO 训练中引入随机性后如何选择随机策略的问题给出判据：在固定条件状态与时间步下，选取使任意非零速度输出更新所诱导的条件 KL 散度最小的可行策略。在保持系数的各向同性高斯转移族内，该判据化为最小化一个标量几何因子，该因子同时决定速度空间 Fisher 信息与条件转移对数似然比方差，并给出该族内唯一闭式解。作者还采用梯度尺度匹配，推导出策略梯度与 KL 权重的闭式形式。方法在原始少步调度上训练，推理时保留确定性求解器，在 4 步设置下于图像与视频生成模型上最终奖励分数高于 Flow-GRPO 与 Flow-CPS。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题起点
少步流模型靠少数几次幅度较大的去噪转移完成生成。把 GRPO 用到这类模型上，需要在去噪转移中注入随机性；当单次转移跨越的噪声水平范围很宽时，由此得到的随机策略如何选取，就成了影响优化的主要因素。已有构造把策略限制在保持目标流系数的范围内，但这一约束只划出一个策略族，并没有给出在族内挑选的依据。
选择判据与闭式解
Geo-FSRL 的做法是设定一条选择原则：在固定的条件状态与时间步组合下，从可行策略中挑出使条件 KL 散度最小的那个，而该散度由任意给定的非零速度输出更新诱导。在保持系数的各向同性高斯转移族里，这条原则简化为最小化一个标量几何因子，这个因子决定了每一次速度输出更新对应的条件 KL。同一个因子还支配速度空间的 Fisher 信息以及条件转移的对数似然比方差。作者在该族内推导出唯一的闭式最优解，它对所有非零更新的幅度与方向都通用，转移系数由源噪声水平与目标噪声水平共同确定。
权重归一与实验设置
最小化后的几何因子仍会随时间步变化，因此作者沿用此前工作中的梯度尺度匹配思路，推导出策略梯度与 KL 权重的闭式表达，用来归一显式的 score 尺度与参考 KL 曲率。训练在原始少步调度上进行，推理阶段继续使用确定性求解器，不改变采样路径。在 4 步设置下，该方法在图像生成与视频生成模型上的最终奖励分数都高于 Flow-GRPO 与 Flow-CPS，代码已公开。
为什么值得看
少步流模型做强化学习时随机策略怎么选一直缺少判据，这篇给出闭式解并在图像、视频生成上超过已有方法。
强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。