新模型可同时生成视频与任意骨架的3D运动
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
现有视频生成模型能呈现逼真的运动画面，但这些运动停留在像素层面，无法用来驱动某个具体的 3D 资产，也无法在 3D 场景中回放。论文举的例子是：视频模型可以展示一只猴子跳过横杆，却不能把这次跳跃还原成可回放的 3D 运动并放回三维场景。此前的视频-运动模型要么只处理人体骨架，且往往为此增加数十亿参数，要么从生成的 2D 姿态图三角化出 3D 运动。该工作要解决的是：对任意给定的骨架，同时得到视频、3D 运动，以及把运动登记到场景中的相机。
分离式架构
作者没有把 3D 运动塞进视频模型，而是让 3D 运动保留在一个独立模型中，该模型支持任意骨架，再通过少量 cross-attention 层与预训练视频模型相连。这种分离带来一个训练上的好处：运动模型可以先只从运动数据学习骨架如何运动，而这类数据比成对的视频更容易获取和增广。此外，模型还学习在视频帧中定位每个关节，借此恢复相机参数，并把 3D 运动放进场景。这样，视频与运动是共同生成而非事后拟合的。
数据构造与能力
为了跨多种骨架训练，作者使用生成式视频编辑器，把带动画的 3D 资产放进与其动作相适配的场景中，并筛选编辑结果，使已知的运动仍然有效。这些数据与人和机器人的视频合在一起，形成近 20 万对训练样本。评估显示，该模型从文本驱动多种骨架的动画时，比以视频为先的流程更忠实，生成的运动也会对周围场景作出响应。模型还支持双向转换：把视频转成骨架运动、把骨架运动转成视频，并允许用关键帧控制 3D 运动。
为什么值得看
把视频生成的运动变成可复用的 3D 骨架动画，并支持任意骨架与相机对齐，对动画和机器人方向有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。