EvoWorld 提出视频世界模型因果演化新任务与基准

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

论文提出「视野外因果演化」任务:模型需渲染事件、推断其对世界状态的影响,并在视野外延续出因果合理的结果。作者给出 EvoWorld 框架,由视觉语言模型充当「世界大脑」,观察已生成片段、维护世界状态并推理状态转移,再由分段自回归视频渲染器把结果画出来。同时发布 EvoWorld-Data 与 EvoWorld-Bench,用于训练和评测事件实现、因果反应与重访一致性。实验称该方法在保持画质与一致性的同时,明显优于近期模型的事件条件因果演化表现。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

任务定义与问题动机

论文指出,生成式视频模型常被当作视觉世界模拟器使用,但其长处在于生成看起来合理的像素,并不擅长推理世界应当如何变化。作者把这种差距具体化为一个新问题:视野外因果演化。当某个事件发生后,模型不仅要画出事件本身,还要推断它对世界中各实体的后果,再渲染由此形成的新状态。论文举的例子是野兽出现后,模型应判断附近的人是逃跑、躲避还是反击,而不是只把野兽画出来。现有扩散视频模型缺少显式维护世界状态、并对事件条件后果做推理的机制,输出往往画面可信但行为静止或因果不一致。

大脑与渲染器分工

作为参考方案,作者提出 EvoWorld 框架,把系统拆成两部分协作。视觉语言模型承担「世界大脑」的角色:它观察已经生成的视频片段,维护一份随剧情推进而更新的世界状态记录,并推理接下来哪些状态转移是合理的。分段自回归的视频渲染器则负责把这些推理结果落实为画面,逐段生成后续内容。这种分工让因果推理与像素渲染各自独立,从而在视野之外延续出与先前事件相衔接的结果,而不是仅凭视觉先验继续生成。

数据、基准与实验结果

为让该问题可训练、可测量,作者同时构建了 EvoWorld-Data 与 EvoWorld-Bench,评测维度包括事件是否被实现、因果反应是否合理,以及重访先前场景时的一致性。实验结果显示,EvoWorld 在事件条件下的因果演化方面较近期模型有明显改善,同时视觉质量与一致性没有下降。作者将该框架定位为一个参考点,用于推动超出当前视野的、由推理引导的自主世界演化研究。

为什么值得看

把视频生成从「画面像不像」推进到「世界该怎样演化」,并给出可测量的任务与基准。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models

关键事实

  • 论文提出新问题「Out-of-Sight Causal Evolution」,要求模型渲染事件、推理后果并给出因果合理的结果[1]

  • EvoWorld 采用视觉语言模型作世界大脑、分段自回归视频渲染器作渲染端的协作框架[1]

  • 作者发布 EvoWorld-Data 与 EvoWorld-Bench,覆盖事件实现、因果反应与重访一致性[1]

  • 实验显示 EvoWorld 在事件条件因果演化上优于近期模型,同时保持视觉质量与一致性[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。