EditVid框架实现多样化视频编辑无需训练

论文AI 评分 75/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究人员推出EditVid,一种无需训练的统一视频编辑框架,结合稀疏因果记忆、基于对应关系的后注意力令牌注入和软潜在混合技术,支持指令引导和参考引导的编辑。在FiVE评测中,EditVid达到78.16分,比最强基线方法高19.21分,用户研究中51.8%的参与者偏好此方法。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

免训练的统一编辑框架

EditVid 是一个无需额外训练就能运行的视频编辑框架,目标是把原本分散在不同范式里的编辑能力收进同一套流程。它同时覆盖指令引导与参考引导两类编辑任务,具体包括风格迁移、属性修改、物体插入、局部部件级编辑以及主体替换。按论文描述,这套框架由三个部件配合完成:稀疏因果记忆负责维持局部范围内的连贯性,基于对应关系的后注意力 token 注入用于在较长跨度上保持身份一致,软潜变量混合则用来把改动约束在编辑区域内。三者叠加后,同一个框架不必针对每种编辑类型单独设计流程,就能处理上述多种任务。

两项基准上的表现

在 FiVE 基准上,EditVid 取得的 FiVE-Acc 为 78.16,论文给出的对照对象是评估中表现最强的免训练基线,其数值为 58.95。两者同为免训练路线,差别在于 EditVid 把局部连贯、长程身份保持与编辑局部性拆成三个可组合的机制,而不是依赖单一策略。论文还提到,该方法在 IVEBench 上取得了有竞争力的结果,但材料没有给出该基准的具体数值,因此只能确认其参与了这一基准的评测。除自动指标外,作者还组织了用户研究,让 EditVid 与另外 7 种方法同场比较,结果显示用户整体上更偏好 EditVid;材料未披露该偏好的具体比例。

适用范围与限制

从论文摘要能确认的适用范围,是指令引导与参考引导两类编辑,以及风格、属性、插入、部件级修改和主体替换这些具体操作。框架被明确定位为免训练,意味着使用它不需要为每种编辑任务重新训练模型,这与其在 FiVE 上同免训练基线对比的设定一致。需要说明的是,材料只给出了 FiVE 上的准确率数字和 IVEBench 上的定性描述,没有提供推理开销、显存占用、可处理的视频长度或分辨率等信息,也没有说明在哪些编辑类型上更容易失败。因此对读者而言,可以确认的是这套统一框架在免训练条件下把多种编辑范式合并到一条路径,并在一个基准上拉开了与同类免训练方案的差距;至于实际部署中的成本与边界,现有材料尚不足以判断。

为什么值得看

提供无需训练的统一视频编辑解决方案,支持多种编辑类型,性能显著优于现有方法。

信源1 家

  1. [1]arXiv cs.AI一手信源One Editor, Many Edits: A Unified Training-Free Framework for Diverse Video Editing

关键事实

  • EditVid框架支持指令引导和参考引导的多种视频编辑类型[1]

  • 在FiVE评测中,EditVid达到78.16分,比最强基线方法高19.21分[1]

  • 用户研究中51.8%的参与者偏好EditVid而非7种竞争方法[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。