LAPT-Scale 用人类视频预训练机器人策略，成功率升至 85%
论文AI 评分 82/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
该研究提出 LAPT-Scale 范式，用第一视角人类视频替代昂贵的机器人交互数据。其 LAPT-Scale-LAM 在连续隐空间学习帧间视觉变化对应的隐动作，作为人类来源的监督信号，避免离散量化损失细节；LAPT-Scale-Policy 则经人类视频隐动作预训练、目标机器人本体对齐与任务后训练三阶段训练 VLA 策略。在 2.33 万小时第一视角视频上训练后，标注人类视频从 1 千小时增至 5 千小时，真实机器人成功率由 63.3% 提升到 85.0%，并泛化到未见视觉条件。论文被 CoRL 2026 接收。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为何转向人类视频
通用机器人策略的扩展受制于具身交互数据采集成本高。大规模第一视角人类视频是替代来源，但缺少机器人动作标签，而现有动作标注方法在真实视觉复杂度和多样操作动态下往往噪声较大。LAPT-Scale 正是针对这一缺口提出的可扩展隐动作预训练范式，由 LAPT-Scale-LAM 与 LAPT-Scale-Policy 两部分组成。
连续隐动作与多信号监督
LAPT-Scale-LAM 通过解释人类视频中帧与帧之间的视觉变化来学习连续隐动作，并将其作为人类来源的监督信号。与此前采用向量量化的 LAM 不同，它使用连续隐空间，以保留细粒度运动与交互动态。研究还结合感知、语义与光流对齐信号，使监督不止停留在像素重建层面，而是提升到帧间过渡级别。
三阶段策略训练与缩放收益
LAPT-Scale-Policy 通过人类视频隐动作预训练、目标机器人本体对齐以及任务特定后训练来训练 VLA 策略。LAM 在 23.3K 小时第一视角视频上训练后，为策略预训练提供隐式动作监督，带来一致的缩放收益：当标注人类视频从 1K 小时增加到 5K 小时，真实机器人成功率从 63.3% 升至 85.0%。所学策略还能泛化到未见的视觉条件。
为什么值得看
给出用人类视频规模化训练机器人策略的具体路径与可复现的缩放收益数据。
量化对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。