引入逆动态辅助损失修复JEPA世界模型规划能力
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
当画面仅微小部分变动时，JEPA世界模型编码器潜表征对动作极不敏感，导致规划失败。本文提出SLIM基准，发现原LeWM模型在多物体推动任务成功率仅0.3%。引入逆动态辅助损失后，成功率升至35%，且无需重训世界模型即可用语言目标规划，导航达0.84。研究还提出无环境访问的动作敏感度探针，作为规划可行的经验必要条件。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载潜表征动作不敏感致规划失效
在画面仅有微小部分变动的场景下，JEPA潜世界模型的规划能力会严重受损。本文构建了SLIM推动基准，包含多个小物体及配对的视觉与语言目标。测试发现，原本能解决PushT任务的LeWM世界模型在SLIM上成功率不足1%，而使用仿真器状态的脚本控制器可解所有层级。探针定位失败源于编码器：其潜表征近乎对动作不敏感，无法从中解码出推杆或物体位置， rollout效果等同于直接复制当前潜表征。
逆动态辅助损失修复规划能力
为修复该问题，作者在编码器潜表征与预测潜表征上引入逆动态辅助损失，通过共享头部并在测试时丢弃来实现。该修复使所有探针恢复正常，成功率从0.003跃升至0.35（在困难推动层级达0.16，而目标无关策略得分为零），并在两倍训练视界下改善PushT。控制实验证实修复归功于传入编码器的梯度，响应扫描显示当足够多画面响应动作时原模型方可规划。
语言目标驱动与动作敏感度探针
在修复后的潜表征上，无需重训世界模型，小型语言目标头即可从句子规划：导航成功率达0.84（视觉目标神谕为1.00），能在诱饵替换时遵循指定区域，并对未见名词优雅降级。单句难完成推动，但将推动转为阶段句子序列后，中高难度层级成功率从0.04升至0.25，与目标帧神谕相当。此外，作者提出无需环境访问的廉价动作敏感度探针，作为规划可行的经验必要条件：低于其阈值的所有配置均规划失败。
为什么值得看
解决潜世界模型在微小动作下的规划失效问题，使语言目标直接驱动规划，对机器人控制具实用价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。