DreamX 将预训练视频扩散模型改造为通用潜在动作学习器
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把视频模型当作动作学习器
DreamX 的做法是把一个已经训练好的视频扩散模型改作通用潜在动作学习器，而不是另起炉灶训练一个专门的动作编码器。研究团队从该视频模型自身的时空特征中抽取紧凑的潜在动作表示，让动作信息以低维形式沉淀下来。按论文描述，每个潜在视频帧被压缩到 4 个 token，材料给出的压缩倍数为 300 倍。这样做的直接结果是，动作不再以原始像素或高维视觉特征的形式存在，而是被收拢进一个体量很小的表示空间，为后续在不同主体之间共享动作接口打下基础。
借生成先验剥离外观
已有潜在动作模型通常从视觉画面的前后变化中反推动作，问题在于推出来的表示往往把动作本身与无关的视觉差异混在一起，比如外观、场景细节的变化会污染动作信号，导致换一个执行主体就难以迁移。DreamX 的差别在于利用了视频模型自带的生成先验：由于该模型本身已经学会了预测视频如何演化，从中提取的潜在动作更容易保留与动作相关的动态，而把视觉外观因素分离开。论文将这一性质表述为动作相关动态与视觉外观的解耦，这也是它能够充当跨主体共享动作接口的前提。
跨人与机器人的共享接口
经过上述处理得到的潜在空间，被论文描述为一种共享的动作接口，覆盖人类与机器人两类主体，也覆盖不同环境和不同动作参数化方式。在 LARY-Bench 上，DreamX 在潜在动作模型中取得了当前最好的表现。更关键的是迁移能力：在一种设定下编码得到的动作，放到另一种设定下依然有效，该潜在空间支持任意到任意的视频迁移，也支持跨多种主体与环境的零样本动作迁移。这意味着动作表示不必为每个新主体重新学习一遍，同一套接口可以在差异较大的执行条件之间复用。
紧凑空间里的策略学习
除迁移之外，这个共享接口还被用于策略学习：策略可以直接在紧凑的潜在动作空间中训练，而不必在更高维的动作或视觉表示上展开。论文指出，这样做降低了基于视频扩散模型的策略所需的计算开销。对关注这一方向的读者来说，DreamX 给出的思路是把视频扩散模型从单纯的生成工具转为动作表示的来源，其价值体现在三点：一是压缩后的表示足够小，二是动作信号与外观分离后便于跨主体复用，三是同一接口既能做视频与动作迁移，也能承载策略学习。论文同时归入计算机视觉、人工智能与机器人等分类，说明其应用面向并不局限于单一任务。
为什么值得看
把视频扩散模型变成跨本体共享的动作接口，并给出 300 倍 token 压缩与零样本动作迁移，值得关注机器人策略与视频…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。