LeWAM：基于JEPA隐空间的双向世界动作模型发布
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究者提出LeWAM，一个在无解码器JEPA隐空间上端到端训练的双向Transformer，可同时做前向、后向、逆动力学与策略预测。相比仅做前向预测的Le World Model，线性探针从LeWAM隐空间读取机器人与物体状态的效果更好，且隐空间对视觉干扰的忽略程度与LeWM相当，明显优于基于重建的WAM。闭环评测中，LeWAM与同尺寸、同编码器的流匹配策略表现相当，同时还能充当世界模型。规划方面，直接采样原始动作会让MPC利用动力学模型误差，而在策略头的噪声空间中规划可提升闭环表现。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模型结构与训练方式
LeWAM被定义为一个双向Transformer，同时承担四类预测任务：前向动力学、后向动力学、逆动力学以及策略预测。它的训练不依赖解码器，而是在JEPA隐空间上端到端完成，四种模式共享同一隐空间。作者指出，常见世界动作模型通常建立在基于重建的表征之上，这类表征携带噪声与冗余信息，会给下游预测带来困难，LeWAM的设计正是针对这一点。
隐空间对齐效果
在表征质量上，作者用线性探针从LeWAM的隐空间读取机器人与物体状态，结果好于常规的Le World Model——后者是仅做前向预测的JEPA世界模型。同时在忽略视觉干扰方面，LeWAM的隐空间与LeWM表现相当，并且明显优于基于重建的WAM。这说明加入后向、逆动力学与策略预测等多模式训练，并未牺牲隐空间对无关视觉信息的过滤能力。
动作生成与规划
闭环评测显示，LeWAM的表现与在同一编码器、相同规模下训练的常规流匹配策略相当，区别在于LeWAM同时还能作为世界模型使用。规划环节的结论更具体：用WAM做规划时若直接采样原始动作，MPC会利用动力学模型的不准确之处；改为在策略头的噪声空间中进行规划，则能改善这类WAM的闭环性能。论文共14页、6张图，归入机器人学、人工智能与计算机视觉等分类。
为什么值得看
把世界模型与策略预测统一在一个隐空间里，并给出规划该在哪层空间做的实证结论，对做机器人学习与世界模型的人有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。