生数科技发布Vidu S2,支持实时视频编辑与空间视频

产品AI 评分 80/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

生数科技发布Vidu S2模型,包含S2-Avatar和S2-Editing两个细分模型。S2-Avatar支持语音控制数字人动作、实时接收参考图换装及拿取物品,分辨率提升至720P。S2-Editing可对正在播放的视频实时换装、换人、换背景及换风格。此外,新模型支持将视频转换为左右眼画面以适配VR头显。该版本发布即全量开放。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

实时编辑四类能力

Vidu S2-Editing 面向正在播放的画面提供四类实时改动:替换人物服装、更换背景、替换主体角色、切换整体画风。材料中的演示显示,一位受访女士的着装被连续切换为多套款式,衣服随动作产生的形变与面部一致性保持得较为连贯,其中一套驼色外套的袖口对首饰形成半遮挡,处理接近真实。材料也指出两处不足:某套服装在呈现色块时带有涂抹感,人物戴帽时头发存在穿模。换背景的演示里,舞者在多个场景间切换;换主体的演示里,办公环境中的角色被替换成其他形象,透视与遮挡关系与原有环境吻合。这四类能力共同指向直播视觉、虚拟角色演出与创意视频的临场调整空间。

数字人动作与清晰度

Vidu S2-Avatar 是实时交互模型,支持语音对话、用语音指挥数字人做动作,以及在互动过程中接收参考图。材料把 S1 与 S2 放在同一画面里对比:同样要求跳舞、转圈、跺脚,S1 未能完成,S2 能按指令动起来。输出分辨率从上一代的 540p 提高到 720p,角色面部与衣物细节在持续互动中更清楚。参考图的作用是让数字人拿起图中的物品、换上指定服装或进入新场景,因此它除了对话,还能承接幅度较大的肢体表演。与 S1 相比,S2 把能力从聊天互动扩展到身体动作的执行,材料用“嘴上答应”和“身体力行”的差别来描述这一变化。

空间视频与开放节奏

第三个方向是实时空间视频探索:把生成或编辑后的视频转成左右眼两路画面,送入 VR 头显,让观看者与角色之间产生纵深感更强的互动。材料没有给出这一方向的具体参数,只把它列为三项升级之一。发布节奏上,Vidu S2 在发布当天即全量开放,不设内测环节,也不限制名额。从 S1 到 S2 的间隔为 69 天,材料称这是一次大版本跃迁。S1 此前的特点是让数字人从依赖音频对口型加预设动作库的做法,转向用语音控制行为并支持长时间连续互动;S2 在此基础上叠加了实时编辑与更高清晰度的交互输出。

对使用者的实际影响

对内容创作者而言,变化体现在制作顺序上:过去要先完成素材再生成,现在可以在画面播放过程中直接调整服装、背景、主体与风格,观众提出的临时想法有机会当场落地。材料举的例子是弹幕要求主播换装,下一秒画面就可能呈现。对数字人应用来说,720p 的实时输出与中途接收参考图,意味着互动不再局限于说话,还能按指令完成取物、换装等动作。需要留意的是,材料明确提到的限制包括服装色块的涂抹感与戴帽时的头发穿模,说明编辑效果并非在所有情形下都完全稳定。空间视频方向目前只有方向性描述,实际体验取决于头显端配合。

为什么值得看

视频生成从离线制作迈向实时交互与编辑,大幅降低创作门槛。

语音

信源1 家

  1. [1]量子位实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招

关键事实

  • Vidu S2包含S2-Avatar和S2-Editing两个细分模型,支持实时互动与视频编辑。[1]

  • S2-Avatar支持语音控制动作、中途接收参考图,分辨率从540p提升至720p。[1]

  • S2-Editing支持实时换装、换人、换背景及风格渲染。[1]

  • 新模型支持将视频转换为左右眼画面,探索VR空间视频互动。[1]

相关 · 产品

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。