T2-Z 提出测试时优化环境潜变量,提升机器人世界模型预测与动作成功率

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

论文提出 T2-Z,为机器人世界模型加入可学习的环境潜变量,用于刻画摩擦、质量等不可直接观测或未明确指定的环境因素。训练分两阶段交替:先固定潜变量学习跨环境的动作条件动态,再冻结世界模型优化潜变量,使潜变量结构仅通过世界预测涌现。测试时世界模型保持冻结,仅用一次或多次交互轨迹优化新初始化的环境潜变量,以适应未见过的环境配置。在 7 个仿真设置和 4 个真实机器人任务上,物体预测误差指标从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%。消融实验显示,仅用单条测试时交互轨迹即可推断环境潜变量。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决什么问题

论文指出,机器人要预测动作会带来什么结果,仅靠可见信息并不够,还必须考虑既无法直接观测、也未被明确指定的环境因素,例如摩擦、质量等物理属性,以及由人定义的环境规则。T2-Z 的思路是给机器人世界模型附加一个可学习的环境潜变量,用它来条件化世界预测。这个潜变量被设计得紧凑,能够在没有监督信号说明环境因素有哪些、取值是多少的情况下,捕捉环境层面的变化。也就是说,方法不要求预先列出环境因素清单,而是让潜变量自己承载这些差异。

训练与测试怎么分工

训练阶段在两个步骤之间交替。第一步是世界模型优化:固定潜变量,学习跨环境的、以动作为条件的通用动态。第二步是环境潜变量优化:冻结世界模型,只优化条件潜变量,让潜变量的结构完全通过世界预测任务自然形成。到了测试阶段,世界模型保持冻结,重新初始化一个环境潜变量,并利用一次或多次测试时交互来优化它,从而把模型适配到此前未见过的环境配置。消融实验进一步表明,仅凭单条测试时交互轨迹,T2-Z 就能较为高效地推断出环境潜变量。

实验数字与表现

论文在 7 个仿真设置和 4 个真实世界机器人任务上评估该方法。结果显示,物体预测误差指标从 15.20 降到 7.00,动作成功率从 33.73% 提高到 72.96%。论文还提到,涌现出的潜变量在不同视觉场景中形成了对单一因素与复合因素的结构化表示。这些结果说明,测试时对潜变量做优化,可以在不重新训练世界模型的前提下改善预测与执行表现,并且适配所需交互数据量可以很少。

为什么值得看

给出测试时仅靠少量交互即可适配新环境的世界模型方法,并附仿真与真机量化提升,对机器人学习研究者有直接参考价值。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源T2-z: Test-Time Optimization of Environment Latents for Robotic World Models

关键事实

  • 论文提出 T2-Z,为机器人世界模型引入可学习的环境潜变量以条件化世界预测[1]

  • 训练交替进行世界模型优化与环境潜变量优化两个阶段,潜变量结构通过世界预测涌现[1]

  • 测试时世界模型冻结,用一次或多次交互轨迹优化新初始化的环境潜变量以适配未见环境[1]

  • 在 7 个仿真设置和 4 个真实机器人任务上,物体预测误差指标从 15.20 降至 7.00[1]

  • 动作成功率从 33.73% 提升至 72.96%,消融显示单条交互轨迹即可推断环境潜变量[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。