注册

优必选团队发布统一世界模型 Thinker-WM

论文AI 评分 82/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

优必选 Thinker-WM 团队公开了一个统一多模态世界模型，用共享的 Unified Dynamics Transformer 配合各模态专属编码器与解码器，把 RGB、度量深度和机器人动作放进同一动态表示中联合建模与生成。同一套参数支持视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成以及逆动力学等多种功能。训练数据约含 2 万小时第一视角视频、1 万小时真实机器人数据和 1 千小时仿真数据，其中约 4 千小时真实机器人数据带对齐深度监督。团队还提出轻量运动探针，显示冻结的视觉表示中可恢复运动信息。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

统一表示而非拼接模块

现有世界模型常把视觉动态、几何结构和可执行动作分散在各自接口或下游模块中处理，缺少在同一动力学模型内共同表示与演化的能力。Thinker-WM 的做法是在表示层面完成多模态统一：外观、几何与动作先被转换为一种共同的动态表示，再由共享参数联合演化，同时保留各自不同的输出结构。模型主体是一个共享的 Unified Dynamics Transformer，外围配有面向各模态的编码器与解码器。这样设计的目标是让同一套参数同时承担多种任务，而不是为每种功能单独训练一个模块。

一套参数支撑六类功能

由于表示层已经统一，Thinker-WM 的同一套参数化可以覆盖多种功能，包括视频与动作的联合生成、世界预测、策略推理、动作条件生成、视频到动作生成以及逆动力学。这些功能此前往往需要分别建模或依赖额外的下游模块衔接。为检验共享表示是否真的携带动作相关信息，团队引入了一个轻量运动探针，结果显示冻结状态下的视觉表示中仍能恢复出运动信息，说明动作信息确实进入了共享表示，而非仅停留在输出端。

训练数据构成与评测结果

训练语料由异构数据组成，规模约为 2 万小时第一视角视频、1 万小时真实机器人数据以及 1 千小时仿真数据，其中约 4 千小时真实机器人数据带有对齐的深度监督，用于支撑几何相关能力的学习。论文称在具身世界模型的多项评测中表现较强，在 EWMBench、WorldOlympiad 与 WorldArena 上均排名第一。此外，控制实验进一步显示了动作条件、几何交互等设计带来的收益。

为什么值得看

把视觉、几何与动作统一进一个世界模型，并公开多任务能力与训练数据构成，值得具身智能方向的研究者细看。

多模态对齐

信源1 家

  1. [1]arXiv cs.AI一手信源Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence

关键事实

  • 模型通过共享的 Unified Dynamics Transformer 联合建模 RGB、度量深度与机器人动作，各模态保留专属编码器和解码器。[1]

  • 同一套参数支持视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成和逆动力学等功能。[1]

  • 训练语料约含 2 万小时第一视角视频、1 万小时真实机器人数据、1 千小时仿真数据，其中约 4 千小时真实机器人数据带对齐深度监督。[1]

  • 团队提出轻量运动探针，表明冻结的视觉表示中包含可恢复的运动信息。[1]

  • 该工作在 EWMBench、WorldOlympiad 和 WorldArena 上排名第一。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论