VideoX-Qwen:基于数据中心的指令驱动视频编辑框架

模型AI 评分 75/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

VideoX-Qwen提出了一种面向通用指令视频编辑的数据构建与模型训练集成框架。其可扩展数据管线整合生成与理解模型,覆盖添加、移除、替换及属性编辑四类操作,经质量筛选与指令增强产出超120万条定向编辑记录,各主要任务组均超40万条,自动接受率达89%。模型端开发统一编辑器Qwen-Wan,融合多模态语义条件与源视频潜变量引导,采用渐进式图像-视频训练策略。在百例对比测试中,该框架于11项指标中的9项取得最优均值,涵盖指令遵循、编辑质量、内容保持及结构感知相似度等。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

数据生产管线怎么跑

这套框架把数据构建与模型训练放在同一条链路上。生产端并不依赖单一模型,而是把擅长生成的模型与擅长理解的模型编成互补路线,分别对应画面元素的添加、移除、替换以及属性修改四类操作。每条路线产出候选样本后,还要经过质量筛查与指令补全两道工序,指令补全让原本简略的编辑要求变得更完整、更贴近可执行的描述。最终所有样本被整理成统一的“源视频—指令—目标视频”三元接口,使不同来源、不同操作类型的记录落在同一套结构里,便于后续训练直接取用。论文给出的规模是超过 120 万条定向视频编辑记录,其中每个主要任务组都超过 40 万条,自动验收通过率为 89%。这组数字说明管线在保持吞吐的同时把住了质量门槛:近九成候选能直接进入语料,剩余部分被筛掉,而不是靠人工逐条返修来堆量。

统一编辑器如何接指令

模型侧给出的是一个统一的 Qwen-Wan 编辑器,它同时接收两类条件:一类是多模态语义条件,用来承载文字指令乃至其他模态的编辑意图;另一类是密集的源视频潜变量引导,把原始画面的细节直接注入生成过程。这样做的目的是让编辑动作只作用于被点名的对象或属性,而画面中无关的主体、场景布局、运动方式以及时间上的连贯性尽量保持原样——这正是视频编辑区别于视频生成的关键约束。训练采用渐进式策略,先对齐多模态指令接口,让模型听懂要求;再让视频生成器适应以源视频为条件的编辑任务;最后用挑选出的高分辨率数据打磨输出质量。三个阶段依次推进,避免一开始就把高分辨率与源条件同时压给模型。

对比结果与适用边界

在与 UniVideo、Kling O1 的 100 例对比中,VideoX-Qwen 在报告的十一项指标里有九项取得最佳均值,覆盖指令遵循、编辑质量、内容保持、结构与感知相似度以及视频分布质量等方面。需要留意的是,这一结论建立在百例规模的对比之上,指标为均值表现,并不等于每一项单独任务、每一种编辑类型都稳定领先。从适用范围看,该框架面向的是通用指令驱动的视频编辑,任务分组集中在添加、移除、替换与属性修改,语料也围绕这些常见操作构建;超出这一范围的编辑需求,材料未给出验证。对关注视频编辑落地的读者而言,可复用的部分有两块:一是那套把生成与理解模型组合起来、再经筛查与指令补全的批量生产方式,二是把语义条件与源视频潜变量引导并置的训练思路。二者共同构成一个可操作的基础,而非单一模型的孤立改进。

为什么值得看

提供超120万条高质量视频编辑数据集与统一训练框架,在多项核心指标上超越对比基线,为指令驱动视频编辑提供实用基础。

Qwen多模态数据中心

信源1 家

  1. [1]arXiv cs.AI一手信源VideoX-Qwen: Data-Centric Instruction-Based Video Editing

关键事实

  • VideoX-Qwen框架产出了超过120万条定向视频编辑记录,自动接受率为89%。[1]

  • 数据管线覆盖添加、移除、替换和属性编辑四类操作,每类主要任务组记录均超40万条。[1]

  • 开发了统一编辑器Qwen-Wan,采用渐进式图像-视频训练策略。[1]

  • 在100个样本的对比中,VideoX-Qwen在11项指标中的9项取得最优均值,对比对象为UniVideo和Kling O1。[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。