Cycle WAM 用循环一致性耦合动作与视频，在 LIBERO-Pro 达 …
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 论文提出 Cycle WAM，把视频与动作视为由因果关系连接的一对模态，用统一训练框架学习两者的对应关系。方法分两步：先为视频-动作联合训练加入双向转换，强化跨模态对应并恢复前向与逆向动力学；再引入可微的循环重建目标，进一步耦合两个映射。所得模型同时支持前向与逆向动力学。在 LIBERO-Pro 上，该方法在同类方法中达到 SOTA；在 DROID 上较 DreamZero 有明显提升；与 UWM 的对比刻画了其逆动力学表现，展示的前向动力学预测视觉细节更锐利。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
现有世界动作模型借助预训练视频先验，或从潜表示解码动作，或从生成的视频反推动作。动作引起场景变化、变化的视频观测又为推断动作提供证据，这条因果链是两类做法的共同基础。但论文指出，现有训练目标本身并不保证动作与其预测的视觉后果彼此一致，这可能限制预训练能力的发挥。Cycle WAM 的出发点就是把视频与动作当作由该因果关系连接的一对模态，通过统一训练框架学习两者的对应关系，从而更充分地利用视频先验。
双向转换与循环重建
方法包含两个层次。第一层是在视频-动作联合训练之上加入双向转换，让动作到视频、视频到动作两个方向互相强化跨模态对应，并借此恢复前向动力学与逆向动力学。第二层是引入可微的循环重建目标，对两个映射施加进一步耦合，使动作经前向映射得到的视觉预测再经逆向映射回到动作时保持一致。这样得到的模型同时具备前向与逆向动力学能力，论文认为这有助于更有效地使用预训练视频先验。
评测结果与对比
在 LIBERO-Pro 上，Cycle WAM 在同类可比方法中取得 SOTA。在 DROID 上，它相对 DreamZero 有明显提升。论文还与 UWM 做了对比，用以刻画其逆动力学表现，并称所展示的前向动力学预测在视觉细节上更锐利。材料未给出具体数值、提升幅度与模型规模，也未说明代码或权重的开放情况。
为什么值得看
关注世界动作模型的人可看：它用循环一致性约束动作与视频预测互相印证，并给出 LIBERO-Pro、DROID 上的对比…
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。