MEV 多事件视频数据集发布,面向长镜头生成

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究者提出 MEV,一个面向长镜头视频生成的多事件视频数据集。现有文生视频数据集多为只含单一事件的短片段,或仅配粗粒度描述,对长镜头时序依赖的监督不足,描述多个事件时生成结果常在时间上不一致。MEV 收录真实视频,其中主体依次完成若干互不重叠的事件,并带有精确时间边界与细粒度过程标注;这种以事件为中心的切分减少了混杂因素,使模型能做时间局部化条件控制,并以原子事件为单位拼接长镜头。配套标注流程把视频切分为有明确时间落点的事件,并生成全局与事件两级结构化描述。在事件中心的评测协议下,用 MEV 微调并加入时间落点事件条件后,长镜头的事件过渡与内容连贯性均有改善。该工作被 NeurIPS 2026 接收。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

现有数据的短板

当前用于文生视频的数据集,内容大多停留在只表现单一事件的短片段,文字描述也偏粗。这样的数据无法让模型学到长镜头里前后事件如何衔接,一旦要求生成包含多个事件的连续画面,时间上的一致性就容易出问题。论文把这一缺口归因于监督信号本身:缺少带时间落点的多事件样本,模型就没有可对齐的参照。

数据集的组织方式

MEV 收集的是真实拍摄的视频,画面中的主体会依次完成若干个彼此不重叠的事件。每个事件都有精确的时间边界,并配有细粒度的过程标注。这种以事件为单位切分的方式,把混杂因素压到较低水平,使模型可以只在指定时间段内接受条件控制,再把一个个原子事件拼接成完整长镜头。除视频本身外,作者还设计了一套标注流程:先把视频切成有明确时间落点的事件,再分别生成全局层面和事件层面的结构化描述。

实验与评测

作者采用以事件为中心的评测协议,在 MEV 上做微调,并把带时间落点的事件条件输入模型。结果显示,长镜头中事件之间的过渡更自然,内容连贯性也有所提升。论文将该数据集定位为可公开获取的资源,用于多事件微调和事件中心评测,同时给出从时间结构化的视频—文本数据中学习的一些实践观察。该工作被 NeurIPS 2026 接收,论文编号为 arXiv:2610.38241。

为什么值得看

长镜头多事件生成长期缺少带精确时间边界的训练与评测数据,MEV 同时提供数据、标注流程和评测协议,可直接用于微调与对比。

微调文生视频论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源MEV: A Multi-Event Video Dataset for Long-Take Generation

关键事实

  • 现有文生视频数据集多为单一事件短片段或粗粒度描述,对长镜头时序依赖监督不足[1]

  • MEV 提供主体依次完成多个互不重叠事件的真实视频,带精确时间边界和细粒度过程标注[1]

  • 配套标注流程将视频切分为有时间落点的事件,并生成全局与事件两级结构化描述[1]

  • 在事件中心评测协议下用 MEV 微调并加入时间落点条件,长镜头事件过渡与连贯性改善[1]

  • 该论文被 NeurIPS 2026 接收,编号 arXiv:2610.38241[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。