PhysStream 实现物理感知视频生成
论文AI 评分 75/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
PhysStream 是一个支持物理感知的图像生成视频自回归模型。该模型利用结构化场景记忆，通过稀疏速度增量信号实现细粒度运动控制，支持在生成过程中进行交互式操作。在合成基准测试中，该模型将运动分布距离降低了 33%，轨迹误差减少了 12%，在真实场景对比中获得了超过 85% 的人类评估者偏好。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模型架构与控制机制
PhysStream 旨在解决现有可控视频生成方法需要预先设定完整控制时间表，或仅使用像素空间信号指定物体位置而非物理动态的局限。该模型采用自回归架构进行物理感知的图像到视频合成。它引入了结构化场景记忆，包含从先前生成的帧中在线导出的位置图和物体跟踪图。此外，模型支持通过稀疏速度增量信号进行细粒度运动控制，这些信号编码了物理量，使模型能够学习底层的动态规律。
训练流程与性能表现
模型的训练分为两个阶段。首先，一个双向模型在运动控制条件下进行微调；随后，训练一个因果自回归模型，并加入额外的结构化场景记忆，以进一步提升物理一致性。PhysStream 能够对多物体桌面刚体场景进行生成过程中的交互式控制，这是此前方法所不具备的能力。在合成基准测试中，与最强的基线模型相比，PhysStream 将运动分布距离降低了 33%，轨迹误差减少了 12%。
评估结果与应用场景
在真实场景的对比评估中，PhysStream 在超过 85% 的情况下获得了人类评估者的偏好。该研究由 Chuhao Chen 等多位作者合作完成，涵盖了计算机视觉、人工智能及图形学等领域。这项技术为需要精确物理动态控制的视频生成任务提供了新的解决方案，特别是在处理复杂多物体交互场景时展现出显著优势。
为什么值得看
解决了视频生成中缺乏物理动态交互控制的问题，提升了生成内容的真实性与可控性。
基准测试
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。