World Labs 发布 Atlas 多模态空间智能模型

模型AI 评分 85/100开源中国
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

李飞飞创立的 World Labs 推出 Atlas,一个从零预训练的多模态空间智能大模型。该模型可基于几张照片生成任意角度的连续视频,或通过手机拍摄视频重建完整 3D 场景,供机器人模拟导航。其核心架构为 'multimodal autoregressive diffusion transformer'。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从照片到可漫游场景

World Labs 推出的 Atlas 是一个从零开始预训练的多模态空间智能大模型。它的输入方式比较直接:给几张照片,模型能输出一段可以从任意角度观看的连续视频;给一段手机拍摄的视频,它则能重建出完整的 3D 场景,并允许机器人在其中模拟导航。这意味着输入的门槛被压得很低,普通手机拍摄的素材就能成为重建的起点,而不需要专门的扫描设备或专业采集流程。输出端强调的是连续性与可探索性——不是单张图或固定视角的片段,而是能够在场景中移动观看的结果。

架构拆成三段来看

Atlas 的核心架构被描述为 multimodal autoregressive diffusion transformer。这个术语可以拆成三部分理解:多模态对应它同时处理照片、视频等不同形式的输入;自回归对应生成过程按顺序逐步展开,前一步的结果参与后续步骤;扩散 transformer 则指向生成环节采用的模型结构。三者组合在一起,指向的是一种既能接收多种输入、又能连续生成空间内容的模型形态。材料同时说明该模型是从零预训练,而非在已有模型上做微调,这一点决定了它的能力边界来自自身训练过程。

与平面生成的区别

常见的图像或视频生成方案,产出的是二维画面,观看角度由生成时确定,用户很难在结果里自由改变位置。Atlas 的落点在于空间本身:照片输入换来的是可换角度观看的连续视频,视频输入换来的是完整 3D 场景。差别不只是输出格式,而是结果是否具备可供导航的空间结构。对机器人模拟导航这一用途来说,场景需要能被进入、被移动、被从不同位置观察,这正是重建出的 3D 场景所提供的东西,而平面画面无法承担。

适用范围与当前限制

从材料给出的信息看,Atlas 的适用场景集中在两类:一是由少量照片生成可多角度观看的连续视频,二是由手机视频重建完整 3D 场景并支持机器人模拟导航。输入侧的便利性是其特点,手机拍摄即可作为重建素材。需要留意的是,材料没有披露模型规模、训练数据构成、重建精度、处理耗时以及可支持的场景类型范围,也没有说明对拍摄条件的要求。因此目前能确认的是能力方向与输入输出形式,具体在复杂环境下的表现、失败情形与边界条件,材料中并未涉及。

为什么值得看

突破 3D 重建技术,为机器人导航和虚拟世界生成提供新可能

大模型多模态

信源1 家

  1. [1]开源中国李飞飞旗下 AI 实验室 World Labs 发布 Atlas:从几张照片重建 3D 世界

关键事实

  • World Labs 发布了 Atlas,一个从零预训练的多模态空间智能大模型[1]

  • Atlas 可基于几张照片生成任意角度的连续视频[1]

  • Atlas 可通过手机拍摄视频重建完整 3D 场景[1]

  • Atlas 的核心架构是 'multimodal autoregressive diffusion transformer'[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。