OptiFlow 提升离线强化学习多模态策略
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对离线强化学习中多模态动作分布的学习难题，研究提出了 OptiFlow 框架。该方法将一步流策略学习转化为结构化样本分配问题，通过状态级熵最优传输联合训练价值感知参考流策略与一步策略。利用评论器估计值定义蒸馏目标优先级，并借助动作距离成本确保几何兼容性。实验显示，该方法在多个离线强化学习基准中有效捕捉最优多模态行为，避免了分布外发散风险。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载解决多模态学习难题
离线强化学习旨在仅从固定数据集中学习策略，这些数据集通常包含多模态动作分布。流策略虽然能自然表示此类行为，但学习高效的一步流策略面临挑战。标准价值引导往往导致模式崩溃，或利用分布外区域的过高估计偏差。为解决这一问题，研究引入了 OptiFlow 框架，将一步流策略学习视为结构化样本分配问题。
传输引导策略训练
OptiFlow 联合训练一个价值感知的参考流策略和一个高效的一步策略，通过状态级熵最优传输耦合它们的动作样本。对于每个状态，评论器估计的值定义了蒸馏目标动作的优先级，而动作距离成本则确保了几何上兼容的配对。这种传输引导的方法通过将一步策略锚定到高价值、数据集支持的模式上，实现了分布内利用，避免了分布外发散的风险。
实验性能与代码开源
实验结果证明，OptiFlow 能够有效捕捉最优的多模态行为，并在多样化的离线强化学习基准测试中取得强劲性能。该研究论文共 38 页，属于机器学习与人工智能领域。作者已公开相关代码，方便研究者复现与进一步探索。
为什么值得看
解决离线强化学习多模态策略的模式崩溃问题，提升数据利用效率。
多模态强化学习蒸馏
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。