RePaint: Inpainting using Denoising Diffusion Probabilistic Models

作者：Andreas Lugmayr、Martin Danelljan 、Andres Romero 等

论文链接：https://arxiv.org/pdf/2201.09865.pdf

摘要：图像修复旨在填充图像中的缺失区域，被修复区域需要与图像的其余部分协调一致，并且在语义上是合理的。为此，图像修复方法需要强大的生成能力，目前的修复方法依赖于 GAN 或自回归建模。近日，来自苏黎世联邦理工学院计算机视觉实验室（CVL）的研究者提出了 RePaint，这是一种基于 DDPM（Denoising Diffusion Probabilistic Model，去噪扩散概率模型）的修复方法，该方法还可以适用于极端情况下的蒙版。

它的修复效果是这样的，RePaint 使用扩散模型填充缺失的图像部分：下面示例中，蓝色部分是图像缺失部分，也就是需要 RePaint 修复的部分，RePaint 会根据已知的部分生成缺失的部分。它的修复过程是这样的：首先从纯粹的噪音开始，然后对图像逐级降噪，中间的每一步使用图像已知部分来填充未知部分。

RePaint 还能重新绘制不同内容和形状的缺失区域，创建许多有意义的填充物。如面部表情和特征，如耳环或痣：

上述图像修复过程采用预训练的无条件 DDPM 作为生成先验。为了调节生成过程，该研究仅通过使用给定的图像信息对未掩码区域进行采样来改变反向扩散迭代。由于该技术不会修改或调节原始 DDPM 网络本身，因此该模型可以为任何修复形式生成高质量和多样化的输出图像。在实验部分，该研究使用标准和极端蒙版验证了面部和通用图像修复方法。RePaint 在六种掩码分布中至少有五种优于 SOTA 自回归和 GAN 方法。

推荐：优于 GAN、带上口罩都能还原，用去噪扩散概率模型极限修复图像。