LoGo方法提升长时视频生成3D一致性

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对摄像机控制视频模型在长时生成中物体易消失、场景结构偏移的3D不一致问题,现有仅给整体单一标量奖励的后训练技术难以修正。LoGo方法融合全局与局部空间奖励:局部奖励实现细粒度信用分配以大幅增强3D一致性,全局奖励维持摄像机跟随与画质。在三个基座模型上,LoGo于DL3DV及新提出的TrajectoryBench基准中展现明显优势,有效减少局部物体偏移、伪影及全局场景变化。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

长镜头下的三维失真

相机可控的视频模型正朝着更长的生成时长与更复杂的运镜方向发展,但一个突出的失效模式随之出现:三维不一致。当镜头移动时,画面中的物体难以保持恒常,场景结构也会发生漂移。这类问题在长时段生成中尤为明显,因为误差会随镜头推进不断累积。论文指出,已有的后训练手段通常只给整段生成结果打一个标量奖励,这种粗粒度的反馈很难定位到具体是哪一段、哪一区域出了偏差,因而在长时程上纠正不一致的效果有限。

局部与全局奖励并用

LoGo 的做法是把全局奖励与空间上局部化的奖励混合起来使用。局部奖励承担细粒度的信用分配,把反馈落到具体的空间位置上,从而明显改善三维一致性;全局奖励则负责维持镜头跟随能力与整体视频质量,避免为了局部稳定而牺牲运镜表现。作者在三个基础模型上验证了该方案,并在 DL3DV 与 TrajectoryBench 上取得优势。其中 TrajectoryBench 是论文提出的新基准,针对长时程、复杂相机控制的生成任务,用以填补现有评测在这方面的空缺。

减小的偏移与漂移

从效果描述看,LoGo 能够有效减少局部物体的位移、画面伪影以及全局性的场景变化。论文把这一结果归因于信用分配在后训练视频模型中的作用:当奖励不再只是整段视频的一个总分,而是能区分不同空间区域的贡献时,模型更容易学会在镜头推进过程中保持物体与结构的稳定。作者同时给出了项目网站,供查看相关材料。该工作涉及计算机视觉与人工智能方向,作者为 Ziqi Ma 等,提交于 2026 年 10 月 2 日。

为什么值得看

解决长时视频生成核心痛点3D不一致,提出细粒度奖励分配与新基准,对视频模型后训练有直接参考价值。

基准测试

信源1 家

  1. [1]arXiv cs.AI一手信源LoGo: Local-Global Rewards for Consistent Long-Horizon Video Generation

关键事实

  • LoGo方法融合全局与局部空间奖励,以提升摄像机控制下长时视频生成的3D一致性[1]

  • 局部奖励提供细粒度信用分配改善3D一致性,全局奖励保持摄像机跟随与视频质量[1]

  • 在三个基座模型上,LoGo在DL3DV和TrajectoryBench基准测试中表现出明显优势[1]

  • TrajectoryBench是为评估长时复杂摄像机控制生成而提出的新基准[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。