研究提出从噪声观测中学习干净图像生成过程的方法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文研究仅用带噪观测学习干净图像的生成模型。作者指出,扩散过程及非高斯噪声推广需要在每个噪声水平上做后验预测。他们先用 Noise2Noise 回归从独立噪声视图学习这些预测,但只能在训练数据噪声水平及以上奏效。为学到该水平以下的预测以生成干净图像,他们引入一致性约束:预测应等于继续采样后的期望。作者推导了一致性唯一确定向干净图像分布延续的条件,并在泊松、二项、Gamma 与负二项测量上验证。CIFAR-10、光子计数显微与合成孔径雷达实验显示,所需后验预测可仅从噪声视图学到,一致性关系修复了超出数据噪声水平的延续,而缺少一致性时该延续严重退化。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题设定

论文关注的是:只有带噪观测、没有干净图像作为参考时,如何学到一个能生成干净图像的生成模型。作者指出,扩散过程以及向非高斯噪声的推广,都要求在每一个噪声水平上给出后验预测。这构成了方法设计的核心难点:噪声水平越低,可用的监督信号越少。

Noise2Noise 的局限

作者首先说明,可以用 Noise2Noise 回归从相互独立的噪声视图中学到这些后验预测,但适用范围受限,只在训练数据的噪声水平及以上成立。要生成干净图像,必须获得低于该水平的预测,而这部分无法直接由上述回归得到,因此需要额外的约束来补足。

一致性约束与验证

为填补低噪声水平的预测,作者施加一致性要求:一个预测应当等于继续采样过程之后的期望。论文推导了一致性能够唯一确定向干净图像分布延续的条件,并针对泊松、二项、Gamma 和负二项这几类测量分布逐一验证了这些条件成立。

实验结果

在 CIFAR-10、光子计数显微成像和合成孔径雷达三类场景上,实验表明所需的后验预测可以仅凭噪声视图学到;一致性关系能够修复超出数据噪声水平之外的延续过程,而一旦去掉一致性,这一段的延续会出现严重退化。这说明约束项对低噪声区间的生成质量起关键作用。

为什么值得看

为无干净参考数据的成像场景提供可验证的生成建模思路,涉及扩散模型在非高斯噪声下的扩展。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Learning Clean Generative Processes from Noisy Measurements

关键事实

  • 论文研究仅用带噪观测学习干净图像生成模型[1]

  • 作者用 Noise2Noise 回归从独立噪声视图学习后验预测,但仅限训练数据噪声水平及以上[1]

  • 引入一致性约束,要求预测等于继续采样后的期望,以学习低于该水平的预测[1]

  • 推导一致性唯一确定向干净图像分布延续的条件,并在泊松、二项、Gamma、负二项测量上验证[1]

  • 在 CIFAR-10、光子计数显微与合成孔径雷达上实验,缺少一致性时延续严重退化[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。