VAST开源实时世界模型EdenLive,单卡720P超24FPS

模型AI 评分 82/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

VAST发布并开源实时世界模型EdenLive,开放模型权重、推理代码、技术报告与端到端Demo。该模型采用状态维护与视觉渲染解耦的设计,由上游交互系统维护交互规则和世界状态,EdenLive负责实时渲染画面。在单张消费级显卡RTX 5090、720P条件下,5B模型生成速度超过24FPS,端到端延迟为百毫秒级,支持分钟级连续生成。输入侧支持简化场景、参考视频、目标首帧与提示词组合,可指定写实、二次元等画风,并用于游戏原型预览、动画风格替换、视频重渲染及具身数据增强。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

三类输入驱动实时生成

EdenLive 的输入方式围绕三类要素展开:参考画面、目标首帧与提示词。用户给出想要的开场画面并附上文字描述,模型便能据此控制后续画面的走向;参考画面则承担风格与内容基准的作用,让生成结果在写实、二次元等不同画风之间切换。除了从零生成,它也能把已有视频作为处理对象,在保持时间连贯的前提下替换其中角色形象与整体风格。这种设计把创作控制权交回使用者手中,而不必依赖固定的素材库或预设模板。模型权重、推理代码与技术报告均已开放,外部开发者可以据此复现或二次开发。

单卡上的帧率与延迟

在硬件门槛上,EdenLive 交出的成绩是单张 RTX 5090 显卡即可在 720P 条件下实现超过 24FPS 的生成速度,端到端延迟控制在百毫秒级。支撑这一表现的是 5B 规模的模型,它能够连续产出分钟级长度的画面而不中断。对实时交互而言,帧率决定画面是否跟手,延迟决定操作与反馈之间的间隔,两者共同构成可用性的底线。把这两项指标压到消费级单卡可承受的范围,意味着实时世界模型的运行不必依赖大规模算力集群,部署形态可以更轻。

上游管规则 模型管呈现

EdenLive 在系统分工上做了明确切分:交互规则与世界状态由上游交互系统维护,模型本身只负责依据参考画面把视觉变化实时呈现出来。这一边界使它适合场景漫游、推箱子这类低频交互玩法——逻辑判定交给外部系统,画面则随状态更新即时刷新。同样的能力也可用于场景与动画预览,创作者在预览阶段就能更换美术风格,观察不同画风下的效果。在具身数据增强方向,它能把真人操作画面转换为机器人视角,为训练数据补充新的观察角度。此前 VAST 在 6 月初发布过 Project Eden 研究预览,EdenLive 可视为该方向上的进一步工程化落地。

为什么值得看

开源权重加消费级显卡实时生成,可直接评估其在游戏原型与视频重渲染上的落地成本。

信源1 家

  1. [1]量子位VAST开源实时世界模型EdenLive!单消费级显卡、720P超24FPS

关键事实

  • EdenLive在单张RTX 5090、720P条件下,5B模型生成速度超过24FPS[1]

  • 系统端到端延迟为百毫秒级,并支持分钟级连续生成[1]

  • 模型权重、推理代码、技术报告与端到端Demo同步开放[1]

  • 输入由参考画面、目标首帧和提示词三类共同控制,可切换写实、二次元等画风[1]

  • 可用于具身数据增强,将真人操作画面转为机器人视角并修改物体外观[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。