注册

arXiv 论文：课程式强化学习实现火箭自主着陆，成功率 96.656%

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出课程驱动的 PPO 框架，用于三维火箭着陆，环境包含随高度变化的气动阻力、风切变、时间相关湍流、离散阵风、不确定的推进与气动参数、推力矢量偏置、发动机滞后、执行器增益变化、观测噪声与指令延迟。训练分为远距接近、软着陆下降和一体化着陆三个阶段，并采用策略迁移、奖励变化后的 critic 预热、旧任务复训与天气严重度逐步扩展。在 10 万次评估中成功着陆 96,656 次，成功率 96.656%，95% Wilson 置信区间为 96.543%–96.766%；零扰动下为 98.84%，最高天气严重度区间降至 88.07%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

把着陆拆成三个阶段

这项研究面向三维场景下的火箭远距离着陆，把导航、下降速率控制、姿态调整与燃料消耗放在同一个控制回路里协调。学习过程被划分为远距离接近、柔性下降和一体化着陆三个阶段，各阶段并非彼此孤立：策略迁移让前一阶段得到的控制经验进入下一阶段，奖励函数改动之后对价值网络做预热，并安排对早期任务的复现，同时逐步提高气象条件的严酷程度。这样处理的目的，是让策略在相互耦合的多个阶段之间保持稳定，而不是每换一个阶段就从头学起。

随机环境里叠加的扰动

训练环境被设定为随机环境，其中包含随高度变化的气动阻力、风切变、在时间上相关的湍流、离散阵风，以及不确定的推进与气动参数、推力矢量偏斜、发动机滞后、执行机构增益变化、带噪声的观测和指令延迟。这些因素共同作用，使着陆控制不再是单一条件下的轨迹跟踪问题。方法上采用课程驱动的近端策略优化框架，把上述扰动按难度组织进学习流程，而不是一次性全部施加。

十万次评估中的成功比例

在十万次评估回合中，该策略完成着陆的次数为九万六千六百五十六次，对应成功率百分之九十六点六五六，威尔逊置信区间为百分之九十六点五四三至百分之九十六点七六六。成功率随气象严酷程度上升而下降：无扰动条件下为百分之九十八点八四，在气象严酷程度最高的区间降至百分之八十八点零七。成功触地的回合表现出较小的落点偏差，残余的水平速度与垂直速度都较低。

哪些初始条件更关键

一项探索性的逻辑回归分析显示，在所测量的变量中，平均风速与成功结果的关联最强；初始距离、初始高度、初始垂直速度以及风切变指数也与结果存在关联。这些结果一方面给出了学习策略在所评估扰动分布上的效果，另一方面也量化了在严重复合大气条件下出现的性能下降。对读者而言，这意味着该类方法的可靠性需要按气象条件分档来看，而不是只看一个总体成功率。

为什么值得看

给出极端扰动下强化学习着陆策略的成功率与性能衰减量化结果，可供做鲁棒控制与 sim-to-real 的团队参考。

强化学习论文

信源1 家

  1. [1]arXiv cs.AI一手信源Curriculum-Based Deep Reinforcement Learning for Robust Autonomous Rocket Landing under Atmospheric Uncertainty

关键事实

  • 论文提出课程驱动的 PPO 框架，用于随机环境下的三维火箭着陆。[1]

  • 环境建模包含随高度变化的气动阻力、风切变、时间相关湍流、离散阵风、推力矢量偏置、发动机滞后、执行器增益变化、观测噪声与指令延迟。[1]

  • 训练分为远距接近、软着陆下降与一体化着陆三个阶段，并配合策略迁移、critic 预热、旧任务复训与天气严重度渐进扩展。[1]

  • 10 万次评估中成功着陆 96,656 次，成功率 96.656%，95% Wilson 置信区间 96.543%–96.766%。[1]

  • 成功率从零扰动下的 98.84% 降至最高天气严重度区间的 88.07%。[1]

相关 · 论文

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论