FlashReFocus 让单图重对焦每次编辑约半秒

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

FlashReFocus 把单张照片的重对焦拆成两步:先用一步扩散去模糊器配合解码器精修,恢复全清晰图像;再用轻量渲染网络按显式散焦图生成虚化,每次调整焦点或虚化强度只需重跑渲染网络。扩散模型每张照片只跑一次,后续编辑约半秒,比 GenRefocus 快 462 倍,整体重对焦快 148.3 倍。渲染器采用散焦偏置注意力,让散焦程度相近的像素共享信息,清晰区域保持不变,改动散焦图还能实现移轴和双焦平面。团队另建三相机基准 3CReal(89 对),该方法在 EBB! 与 3CReal 的零样本散景渲染上取得最佳感知保真度。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把重对焦拆成两个子问题

论文的出发点是一个观察:单图重对焦包含两类性质不同的任务。恢复全清晰图像是不适定问题,需要生成先验来补细节;而渲染虚化主要由深度和焦平面决定,属于确定性较强的计算。现有生成式方法没有区分这两者,每次用户换焦点或调虚化强度都要重跑大扩散模型,导致交互体验被单次推理耗时拖住。FlashReFocus 据此把扩散限制为每张照片执行一次,把反复发生的编辑交给轻量网络,从架构上切断了编辑次数与扩散推理次数的绑定。

一步扩散与散焦偏置注意力

针对不适定的清晰化环节,方法采用一步扩散去模糊器,并接一个解码器精修模块,在保真度与感知质量之间取得平衡,同时避免多步采样带来的开销。渲染环节以显式散焦图为条件,使用散焦偏置注意力,使散焦程度相近的像素之间共享信息,而不被其他深度上的像素干扰。这样在编辑时,处于焦内的内容保持原样,只有虚化部分随参数变化;修改散焦图还能得到移轴效果或同时存在两个焦平面的结果,为交互提供了更细的控制维度。

速度与泛化的量化结果

速度方面,论文给出的对比是:整体重对焦比 GenRefocus 快 148.3 倍,而第一次编辑之后的每次追加编辑约半秒,快 462 倍。泛化方面,作者构建了 3CReal 基准,用三台相机拍摄 89 对图像,专门检验方法在未见相机上的表现。在 EBB! 和 3CReal 上,该方法在零样本散景渲染中取得最佳感知保真度。论文共 38 页,含 8 页正文与附录,配 47 幅图、16 张表,项目页与代码链接随文提供。

为什么值得看

把扩散模型从每次编辑都重跑改为每张图只跑一次,交互式重对焦的延迟降到半秒级,对图像编辑工具的实现路径有直接参考价值。

信源1 家

  1. [1]arXiv cs.AI一手信源FlashReFocus: Interactive Image Refocusing in Seconds

关键事实

  • 扩散模型每张照片只运行一次,后续每次编辑由轻量渲染网络完成,约需半秒[1]

  • 重对焦速度比 GenRefocus 快 148.3 倍,后续编辑快 462 倍[1]

  • 渲染器以显式散焦图为条件并使用散焦偏置注意力,清晰内容保持不变[1]

  • 作者收集三相机基准 3CReal,包含 89 对图像,用于测试对未见相机的泛化[1]

  • 在 EBB! 与 3CReal 的零样本散景渲染上取得最佳感知保真度[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。