SG-JEPA 模型提升零样本物理泛化能力
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
新提出的 SG-JEPA 模型通过动作条件向时间模型提供物理参数，并联合训练编码器与预测器。在不同重力场设计的动力学任务测试中，该模型在二维数据集上将开环预测误差降低了 2 倍，在三维机器人数据集上将控制成功率提升了 2.5 倍。分析表明，性能提升主要归功于编码器学习到了更优的特征。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模型架构改进
SG-JEPA 扩展了 LeWorldModel 框架，核心改进在于通过动作条件将控制物理的参数提供给时间模型。该方法对编码器和预测器进行联合训练，利用自回归潜在展开机制，旨在让模型学习到紧凑的潜在世界表示，从而支持预测与规划。这种设计旨在解决现有世界模型在物理学习和生成逼真动力学方面的不足。
跨重力场测试
为了评估模型的分布外泛化能力，研究设计了不同重力场下的动力学任务。尽管这些任务遵循相同的物理定律，但表现出的动力学特征差异显著，涵盖了从弱重力场下的漂浮运动到强重力场下的快速反弹。这种测试方式有效检验了模型在物理环境参数变化时的适应性与鲁棒性。
性能提升归因
实验结果显示，SG-JEPA 在二维数据集上相比 DINO-WM 减少了高达 2 倍的开环预测误差，在三维机器人数据集上配合独立的扩散策略，控制成功率提升了 2.5 倍。通过构建线性特征模型分析发现，主要收益并非来自预测器学习更好的动力学，而是多步展开损失的反向传播训练编码器保留了对动力学依赖的关键特征。
为什么值得看
显著提升世界模型在物理规律一致但环境变化时的泛化能力。
数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。