StateCraft 用抽象状态推理增强视频世界模型
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载抽象状态与视觉状态解耦
视频世界模型要模拟外观与动态都逼真的复杂环境，长交互中必须记住过去的动作以及这些动作如何改变环境。但模型一次只能生成对整体世界的部分观测，仅靠记住过去的观测并不总够用，因为经历一串动作后，旧观测可能已不再反映世界现状。论文提出的做法是把一个持久、可更新的抽象状态从视觉状态中分离出来：抽象状态随世界演化记录实体的变化，视觉状态表示当前视角，并由抽象状态来条件化。这样记忆不再只依赖像素层面的历史，而是落在一个显式的状态表示上。
语言模型配视频扩散模型
为让动态世界持续演化，作者提出 StateCraft 架构，把语言模型与视频扩散模型配对使用。评测选在生成式界面这一场景，其难点在于单次动作可能改变当前不可见的那部分状态，仅凭可见画面难以推断。为支撑训练与评测，团队还搭建了数据采集流程，能够在没有人工或智能体监督的情况下，规模化产出信息量大、标注密集的轨迹，并配套一个衡量生成质量、记忆与控制力的基准。在该基准上，该方法的表现超过现有最优基线，长轨迹下的自一致性与生成质量也保持得较好。
显式状态带来的可编辑性
由于抽象状态是显式的，它可以直接被编辑，生成结果会跟随这些编辑，即使被编辑到的状态在训练数据中从未出现过。论文还给出一个概念验证性质的 3D 实验：动作会改变一个未被观测房间的光照，结果显示这套范式同样能用于空间环境。对关注世界模型与可控生成的读者来说，值得留意的是它把「记住什么」和「看到什么」拆开处理，并让记忆部分变成可手动干预的对象，这为长程一致性和交互式编辑提供了另一条路径。
为什么值得看
把世界模型的记忆从像素转向可编辑的显式状态，长程一致性与可控性有了新解法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。