DARS 奖励缩放方法：让强化学习采样保持多样性
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Density-Aware Reward Scaling（DARS），用于缓解强化学习在最大化期望回报时把概率集中到少数高奖励结果、导致多样性下降的问题。该方法在每组 on-policy rollout 内估计结果的局部密度，并按密度对奖励做反向缩放，从而在连续结果空间中实现与奖励成比例的采样。它不需要学习密度模型、辅助目标或 critic，也不改动原有的策略梯度目标。在多模态导航任务中，DARS-GRPO 避免了 GRPO 出现的单一模式坍缩，并接近恢复目标模式分配；在文本到图像提示适配任务中，跨数据集、Policy LM 与奖励设置均提升了图像与提示多样性，同时保持语义对齐。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文指出，以最大化期望回报为目标的强化学习容易把概率质量集中到少数高奖励结果上。当任务本身存在多个不同但同样可取的解时，这种集中会削弱采样多样性。作者把这一现象作为出发点，提出一种奖励处理机制，让采样结果在连续结果空间中与奖励成比例分布，同时保留标准的策略梯度训练流程。
方法如何运作
DARS 的核心做法是在每个 on-policy rollout 组内部估计结果的局部密度，再用这个密度对奖励做反向缩放：密度高的区域奖励被压低，密度低的区域相对被抬高。按论文描述，这一机制不需要学习密度模型，也不引入辅助目标或 critic，更不改动底层策略梯度目标，因此可以直接嵌入现有强化学习管线，属于轻量级的奖励后处理。
实验表现
在受控的多模态导航任务中，DARS-GRPO 没有出现 GRPO 那样的单一模式坍缩，并且接近恢复目标的模式分配比例。在文本到图像提示适配任务上，DARS-GRPO 在多个数据集、Policy LM 与奖励设置下都提升了生成图像和提示的多样性，同时语义对齐保持在较好水平。论文据此认为，密度感知的奖励缩放为提升高奖励结果的覆盖度提供了一种低成本途径。
为什么值得看
不改动策略梯度目标、无需 critic 的轻量奖励处理，就能缓解 RL 采样模式坍缩，对做 RLHF、GRPO 类训练…
多模态强化学习对齐论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。