Mise-en-Video 提出多镜头视频生成的三维空间控制框架
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Mise-en-Video（MeV）框架，面向多镜头视频生成。该框架让创作者先在三维空间中安排镜头调度，再生成对应的多镜头视频。技术上，它把用于多层级叙事一致性的分层注意力机制，与用于逐镜头精确空间控制的三维感知布局引导结合起来。为支持训练与评测，作者搭建了标准化标注流程，并构建了含 16 万段视频、带层级多镜头文本与有向三维包围框的数据集。实验显示，该框架在视频质量、镜头间一致性和主体级可控性上均优于强基线。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
文本到视频生成在单镜头合成上已能做到高保真，但实际讲故事需要多镜头视频，既要求镜头之间保持一致，又要求细粒度可控。现有方法在一致性上表现较强，可控性却仍有欠缺。论文把这一落差作为切入点，目标是把创作者的镜头调度意图直接纳入生成过程，而不是生成后再调整。
三维布局引导的做法
MeV 让创作者先在三维空间中完成多镜头的场面调度，再据此生成对应的多镜头视频。实现上由两部分配合：分层注意力机制负责多层级叙事一致性，三维感知的布局引导负责每个镜头的精确空间控制。前者处理跨镜头的叙事连贯，后者把三维空间中的位置与朝向约束落到单个镜头上，两者共同构成可控性的来源。
数据与评测
为支撑训练与评测，作者建立了标准化标注流程，并构建了包含 16 万段视频的数据集，其中带有层级化的多镜头文本和有向三维包围框。论文报告的大量实验表明，该框架在视频质量、镜头间一致性以及主体级可控性三项指标上稳定超过强基线。材料未披露模型参数量、推理成本与开放范围。
为什么值得看
多镜头视频生成长期在一致性与可控性之间取舍，这项工作把三维布局控制引入逐镜头生成，并公开了数据构建方式。
论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。