JPGNet: Joint Predictive Filtering and Generative Network for Image Inpainting

Introduction

  本文认为图像修复实际上是一个图像恢复问题，而不是一个纯粹的图像生成任务。后者只关心生成的图像是真实的还是自然的，而前者要求恢复的区域与真实区域相同。这种差异使得最先进的基于生成网络的方法对于图像修复任务不太完美，因为它们可能修复真实但不太可信的结果。RFRNet会产生扭曲的局部结构(见图1)。此外，一些真实世界的应用，例如壁画修复[42]，主要集中在恢复保真度而不是自然度。然而，基于生成网络的方法(例如，structure flow)显著地修改了未修复的像素(参见图1中的右子图)，尽管它也导致看起来自然的修复结果。

  深度预测滤波方法已经展示了其在各种恢复任务上的有效性，例如去噪[，降额和阴影去除。关键思想是通过深度CNN生成像素核，然后在相邻像素的支持下，使用这些核来指导每个像素的重建。预测滤波的主要优点是尊重输入的主要信息，满足图像修复的高保真要求。然而，从无到有或者附近没有足够的像素来提取信息来生成缺失的像素是不够的。到目前为止，深度预测滤波用于图像修复的任务还没有被探索过。
  在本文中，第一次将两者的优点结合起来，将图像修复表述为两个问题的混合，即预测滤波和深度生成。预测滤波擅长保留局部结构和去除伪影，但不足以完成大的缺失区域。如上所述，深度生成网络可以基于对整个场景的理解来填充大量缺失的像素，但很难恢复与原始像素相同的细节。为了利用它们各自的优势，我们提出了联合预测滤波和生成网络，它包含三个分支:预测滤波和不确定网络、深度生成网络和不确定感知融合网络。该方法可以根据输入图像自适应预测像素核进行滤波修复，并输出不确定性图。该图表明像素应该通过过滤或生成网络进行处理，该网络被进一步馈送到UAFNet，以实现过滤和生成结果之间的智能组合。请注意，我们的方法作为图像修复问题的一个新框架，可以受益于任何现有的基于生成的方法。

  深度生成网络，即RFRNet和structure flow，可能会改变局部结构或像素强度，使修复图像显示出明显的差异。在这项工作中，我们首次将图像修复表述为两个任务的混合，即预测滤波和深度生成。通过利用它们各自的优势，我们的方法不仅可以恢复局部结构，而且可以自然地填充所有缺失的部分。

Motivation

Predictive Filtering for Image Inpainting

  预测滤波是一种先进的图像滤波技术，结合了经典图像滤波和深度学习的优点，并已在各种任务中得到验证，例如图像去噪、阴影去除和模糊。它的基本管道是用深度卷积神经网络(CNN)预测的像素核过滤图像。请注意，据我们所知，这是将图像修复表述为预测滤波问题的第一次尝试。

  p和q代表像素坐标，Np表示p的相邻像素，Kp是像素p的专属内核，其内核大小为K*K。Kp(q-p)确定像素q上的组合权重。不同于传统的对所有像素使用固定核的图像滤波方法(例如，sobel)，预测滤波采用深度神经网络根据输入自适应地预测像素核:

  预测滤波方法能够精确地填充小区域，但是不能预测大的缺失块。这是合理的，因为滤波是根据其邻居重建丢失的像素，而大的丢失块应该通过理解整个场景的能力来填充。

Generative Network for Image Inpainting