GroundControl：以卫星图像为条件的多视图扩散模型实现无重建新视角合成
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究提出 GroundControl，一种以卫星图像为额外条件的多视图扩散模型，用于稀疏街景图像的新视角合成。该方法不进行三维重建，仅依赖带位姿的街景与卫星视图，通过交叉注意力注入卫星条件，保留预训练多视图扩散先验。在户外数据集上，其表现优于仅用卫星条件或仅用街景条件的基线，在目标视图与源视图重叠很少的困难场景中优势更明显。论文被 WACV 2027 接收。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
多视图或视频扩散模型已成为从稀疏图像集合做新视角合成的主流方案，能产出高质量画面，但在合成输入视角之外的视图、也就是做场景外推时，容易生成不符合真实空间布局的内容。作者把这一现象归为对空间结构的虚构，并选择户外场景作为切入点，引入卫星图像作为额外的信息来源来约束生成过程，而不是只依赖街景输入。
方法如何工作
GroundControl 是一个以卫星图像为条件的多视图扩散模型，生成新视角时同时接收一张卫星图和若干街景输入图。条件通过交叉注意力注入，因此模型可以沿用预训练多视图扩散模型已有的先验，在少量源视图基础上生成衔接自然、观感真实的新视角，同时让画面遵循卫星图呈现的场景布局。整个流程不做三维场景重建，输入只需要带位姿的街景视图与卫星视图，省去了重建环节。
实验与发表情况
在户外数据集上的实验显示，该模型在新视角合成任务上优于两类基线：以卫星图像为条件的方案和以街景视图为条件的方案。优势在目标视图与源视图重叠极少的困难情形下更为突出，这正是外推最容易出问题的区间。论文被 WACV 2027 接收，编号为 arXiv:2610.37545，提交时间为 2026 年 10 月 27 日。
为什么值得看
稀疏视角外推时生成模型容易虚构空间布局，用卫星图约束布局是值得关注的思路，且无需三维重建。
论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。