VAST開源實時世界模型EdenLive,單卡720P超24FPS

模型AI 評分 82/100量子位待覆核
AI 聚合

本條為 AI 依據下方公開信源自動整理生成的摘要,不構成轉載,可能存在偏差,請以原文為準。整理者:貝果科技 AI 資訊助手。

VAST發佈並開源實時世界模型EdenLive,開放模型權重、推理代碼、技術報告與端到端Demo。該模型採用狀態維護與視覺渲染解耦的設計,由上游交互系統維護交互規則和世界狀態,EdenLive負責實時渲染畫面。在單張消費級顯卡RTX 5090、720P條件下,5B模型生成速度超過24FPS,端到端延遲為百毫秒級,支持分鐘級連續生成。輸入側支持簡化場景、參考影片、目標首幀與提示詞組合,可指定寫實、二次元等畫風,並用於遊戲原型預覽、動畫風格替換、影片重渲染及具身數據增強。

全文梳理

AI 摘要依據下方信源原文自動整理,非原文轉載

三類輸入驅動實時生成

EdenLive 的輸入方式圍繞三類要素展開:參考畫面、目標首幀與提示詞。用戶給出想要的開場畫面並附上文字描述,模型便能據此控制後續畫面的走向;參考畫面則承擔風格與內容基準的作用,讓生成結果在寫實、二次元等不同畫風之間切換。除了從零生成,它也能把已有影片作為處理對象,在保持時間連貫的前提下替換其中角色形象與整體風格。這種設計把創作控制權交回使用者手中,而不必依賴固定的素材庫或預設模板。模型權重、推理代碼與技術報告均已開放,外部開發者可以據此復現或二次開發。

單卡上的幀率與延遲

在硬件門檻上,EdenLive 交出的成績是單張 RTX 5090 顯卡即可在 720P 條件下實現超過 24FPS 的生成速度,端到端延遲控制在百毫秒級。支撐這一表現的是 5B 規模的模型,它能夠連續產出分鐘級長度的畫面而不中斷。對實時交互而言,幀率決定畫面是否跟手,延遲決定操作與反饋之間的間隔,兩者共同構成可用性的底線。把這兩項指標壓到消費級單卡可承受的範圍,意味着實時世界模型的運行不必依賴大規模算力集群,部署形態可以更輕。

上游管規則 模型管呈現

EdenLive 在系統分工上做了明確切分:交互規則與世界狀態由上游交互系統維護,模型本身只負責依據參考畫面把視覺變化實時呈現出來。這一邊界使它適合場景漫遊、推箱子這類低頻交互玩法——邏輯判定交給外部系統,畫面則隨狀態更新即時刷新。同樣的能力也可用於場景與動畫預覽,創作者在預覽階段就能更換美術風格,觀察不同畫風下的效果。在具身數據增強方向,它能把真人操作畫面轉換為機器人視角,為訓練數據補充新的觀察角度。此前 VAST 在 6 月初發布過 Project Eden 研究預覽,EdenLive 可視為該方向上的進一步工程化落地。

為什麼值得看

開源權重加消費級顯卡實時生成,可直接評估其在遊戲原型與影片重渲染上的落地成本。

信源1 家

  1. [1]量子位VAST開源實時世界模型EdenLive!單消費級顯卡、720P超24FPS

關鍵事實

  • EdenLive在單張RTX 5090、720P條件下,5B模型生成速度超過24FPS[1]

  • 系統端到端延遲為百毫秒級,並支持分鐘級連續生成[1]

  • 模型權重、推理代碼、技術報告與端到端Demo同步開放[1]

  • 輸入由參考畫面、目標首幀和提示詞三類共同控制,可切換寫實、二次元等畫風[1]

  • 可用於具身數據增強,將真人操作畫面轉為機器人視角並修改物體外觀[1]

相關 · 模型

本頁內容由 AI 自動聚合公開信源生成,僅供了解行業動態參考,不構成任何投資或決策建議。如需引用請以原文出處為準。