ASTEROID：非对称在线策略蒸馏让学生模型学会探索
论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 ASTEROID，一种学生—教师监督学习框架，用于在部分可观测环境下学习测试时的探索行为。学生先在部分可观测条件下收集在线策略上下文，特权专家再基于该上下文给出动作标签；学生通过蒸馏这些标签，学会在不确定时搜索、在隐藏状态显现后利用。方法在十一个环境（离散探索基准、机器人操作、导航、Procgen）中，在固定探索预算下回报约为对比方案的两倍，交互次数比强化学习基线少约两个数量级，探索表现超过前沿模型。策略从仿真迁移到视觉受限的真实机器人操作任务，成功率比标准蒸馏高 40%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
部分可观测下的序列决策要求智能体先主动收集信息、推断隐藏的任务相关状态，再据此行动。直接用在线强化学习从零学这类信息收集行为样本效率很低；离线模仿则把不同隐藏状态下的专家动作做平均，学不到探索。ASTEROID 针对的正是这一矛盾：既想要探索行为，又想避开强化学习高昂的训练数据成本。
非对称蒸馏怎么做
框架由学生与特权专家组成，二者信息条件不对称：特权专家能看到完整状态，因此本身不需要探索；学生只能看到历史观测。训练时学生先在自己的在线策略下、于部分可观测环境中收集上下文，专家再以这段上下文为条件给出动作标签，学生蒸馏这些标签。这样学生学到的不是对专家动作的平均模仿，而是依据自身历史系统性地消解不确定性——不确定时搜索，隐藏状态显露后转为利用，效果上接近贝叶斯后验采样。
实验与迁移结果
作者在十一个不同环境上评测，覆盖离散探索基准、机器人操作、导航与 Procgen。固定探索预算下回报约为对比方案的两倍，交互次数比强化学习基线少约两个数量级，探索表现超过前沿模型。方法还把仿真中训练的策略迁移到视觉受限的真实机器人操作任务，表现出有效探索，成功率比标准蒸馏提升 40%。
为什么值得看
用监督蒸馏替代高成本的在线强化学习来获得测试时探索能力，并给出仿真到真机的迁移结果，对做序列决策与机器人学习的人有直接…
强化学习蒸馏论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。