上海AI实验室发布物理世界模型InternW0
论文AI 评分 88/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
上海AI实验室推出InternW0物理世界模型,采用非对称视频-动作架构与流匹配,联合学习视觉动态与连续控制。高容量视频专家提供长视野预测,轻量动作专家在更快时间尺度运行。通过复用逐层K/V及观测条件路由,避免每次动作更新重新生成未来。模型在约7200小时异构机器人及自我中心数据(含275小时EgoLab数据集)上训练,引入触觉信号后训练。评估涵盖仿真基准及真实科学任务,如15阶段金属有机框架合成与5阶段通用定量移液操作。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载异步多频架构设计
InternW0围绕全模态接口、异步多频处理及局部物理建模构建。其核心为非对称视频-动作架构结合流匹配,将高容量视频专家与轻量动作专家解耦。视频专家负责提供更长视野的预测上下文,动作专家则在更快的时间尺度上运行。为避免每次动作更新都重新生成未来状态,模型复用逐层键值对,并通过观测条件上下文路由将其适配至新观测状态,显著提升异步交互效率。
异构数据与触觉后训练
模型训练使用了约7200小时的异构机器人及自我中心数据,其中包括275小时名为EgoLab的真实实验室自我中心数据集。为应对接触丰富的操作场景,InternW0引入了接触感知的后训练方法,将力与触觉信号整合进模型。同时,领域特定接口与软提示支持异构具身形态,使单一模型能适应不同机器人硬件。
真实科学任务评估
评估不仅覆盖仿真基准,还扩展至真实世界科学任务。具体包括一个15阶段的金属有机框架合成工作流,以及一个5阶段且对接触和力敏感的灵巧操作任务,用于通用定量移液。这些结果验证了该模型在可扩展、异步及科学原生物理世界建模方面的能力,推动通用且高效的真实世界交互。
为什么值得看
实现异步多频处理与触觉感知,在真实科学实验操作中验证有效性,推进通用物理智能。
数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
