星尘发布SmoothRL框架，解决机器人异步强化学习问题
工具AI 评分 75/100量子位
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
星尘智能基座模型团队发布SmoothRL框架，解决大模型异步推理与在线强化学习的适配问题。该框架将action chunk划分为已提交、执行和丢弃三个区域，只对真正执行的动作进行强化学习，并在训练中直接采用异步推理模式。在星尘S1机器人上测试显示，动态投掷任务成功率从39%提升至94%，给笔戴帽任务从8%提升至83%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载异步执行与三区划分
SmoothRL 的核心在于让机器人在真实环境中执行动作的同时，模型在后台持续计算后续动作序列。为此，框架将动作序列划分为三个区域：已提交、执行和丢弃。训练过程中，梯度仅通过真正被执行的那部分区域回传，确保学习信号与部署时的实际行为一致。这种设计使得训练 rollout 直接运行异步推理，与部署节奏完全同步，团队将这一原则称为 Reinforce in Deployment。
基础策略与残差修正
基础策略采用针对各任务微调的 π0.5 模型，并沿用 RLT 骨架，通过轻量 TD3-style actor-critic 结构预测残差修正。在星尘智能 S1 机器人上，动作执行频率为 30 Hz，而推理请求频率为 5 Hz，即每 200 毫秒生成一个新的 action chunk。基础策略每次预测 32 帧动作，在固定延迟预算下，已提交与执行区域共占 12 帧，其中 6 帧属于本轮真正执行的执行区域，其余 20 帧在执行前被后续 chunk 覆盖。
真机测试与适用范围
在星尘智能 S1 上，团队测试了三项真机任务，验证了 SmoothRL 在真实机器人部署中的有效性。该框架适用于需要高频执行与异步推理的场景，通过三区划分和梯度回传机制，确保训练与部署的一致性。对于读者而言，这意味着在线强化学习可以更直接地应用于真实机器人，减少训练与部署之间的差异，提升策略的实用性和鲁棒性。
为什么值得看
解决了大模型异步推理与机器人实时执行的矛盾，为高动态任务提供了解决方案。
大模型强化学习
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。