TAPESTRY：把动作当作视频 patch，单一骨干同时做视频生成与机器人控制
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载动作如何塞进视频骨干
TAPESTRY 的核心改动落在输入表示上：机器人动作不再走单独的动作头，而是被当作视频模型 latent 空间里的单 patch token。每个动作时间步先经过一个轻量线性投影，被映射到预训练 VAE 的 patch 维度，随后与视频 token 一样，经过同一套 patchify 层和 Transformer 骨干处理。这样做的直接后果是骨干参数被视频与动作共享，动作分支不必从零训练，也避免了在测试时反复调用视频生成来间接得到动作。作者把这一形态称为 world action model。
三种扩散目标的训练安排
共享骨干通过三种扩散目标训练，按 minibatch 中的元素采样。第一种是视频扩散，使用机器人与人类视频的 VAE latent，目的是建立动力学先验；第二种是视频+动作联合扩散，在机器人演示数据上训练，采用耦合的扩散时间步与非对称注意力掩码；第三种是纯动作扩散，在干净图像 latent 条件下对动作去噪。三种目标共用同一骨干，使视频预训练中的物理交互先验能迁移到动作生成上，而不是被一个从头训练的动作头浪费掉。
推理成本与验证范围
测试阶段模型不做完整视频生成，而是从纯噪声出发，用单步 DDIM 直接得到一段紧凑的动作 token 序列，输出平滑的动作块。在消费级硬件上，每个动作块的生成耗时为 84 毫秒。作者在仿真基准和真实机器人实验上评估，报告的结果是性能表现较强，同时推理成本显著低于可比的联合视频-动作策略。论文被 CoRL 2026 接收，编号为 arXiv:2610.36823。
为什么值得看
复用视频模型先验做机器人策略，且推理时跳过视频生成，84 毫秒的动作块延迟对实时控制有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。