FlashReFocus 让单图重对焦每次编辑约半秒
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载把重对焦拆成两个子问题
论文的出发点是一个观察:单图重对焦包含两类性质不同的任务。恢复全清晰图像是不适定问题,需要生成先验来补细节;而渲染虚化主要由深度和焦平面决定,属于确定性较强的计算。现有生成式方法没有区分这两者,每次用户换焦点或调虚化强度都要重跑大扩散模型,导致交互体验被单次推理耗时拖住。FlashReFocus 据此把扩散限制为每张照片执行一次,把反复发生的编辑交给轻量网络,从架构上切断了编辑次数与扩散推理次数的绑定。
一步扩散与散焦偏置注意力
针对不适定的清晰化环节,方法采用一步扩散去模糊器,并接一个解码器精修模块,在保真度与感知质量之间取得平衡,同时避免多步采样带来的开销。渲染环节以显式散焦图为条件,使用散焦偏置注意力,使散焦程度相近的像素之间共享信息,而不被其他深度上的像素干扰。这样在编辑时,处于焦内的内容保持原样,只有虚化部分随参数变化;修改散焦图还能得到移轴效果或同时存在两个焦平面的结果,为交互提供了更细的控制维度。
速度与泛化的量化结果
速度方面,论文给出的对比是:整体重对焦比 GenRefocus 快 148.3 倍,而第一次编辑之后的每次追加编辑约半秒,快 462 倍。泛化方面,作者构建了 3CReal 基准,用三台相机拍摄 89 对图像,专门检验方法在未见相机上的表现。在 EBB! 和 3CReal 上,该方法在零样本散景渲染中取得最佳感知保真度。论文共 38 页,含 8 页正文与附录,配 47 幅图、16 张表,项目页与代码链接随文提供。
为什么值得看
把扩散模型从每次编辑都重跑改为每张图只跑一次,交互式重对焦的延迟降到半秒级,对图像编辑工具的实现路径有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
