基于深度学习的Image Inpainting (图像修复)

传统的图形学和视觉的研究方法，主要还是基于数学和物理的方法。然而随着近几年深度学习在视觉领域取得的卓越的效果，视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域，一系列问题的研究正在围绕深度学习火热展开，特别是在图像编辑(image editing)和图像生成(image generation)方面，已经初见成效。今天我们讨论的问题，图像补全(image inpainting)，正是介于图像编辑和图像生成之间的一个问题。

图像补全最初是一个传统图形学的问题。问题本身很直观：在一幅图像上挖一个洞，如何利用其它的信息将这个洞补全，并且让人眼无法辨别出补全的部分。这个问题对我们人类似乎很容易，比如下面这个洞，大家很容易脑补出洞里应该有窗户和门，背景是墙，如果还有一些绘画天赋的话，大概就能想象着把它补出来。但是这个任务对于计算机却显得格外困难，首先这个问题没有唯一确定的解，其次如何利用其它的信息？如何判断补全结果是否足够真实？

 

以深度学习为代表的机器学习，正在逐渐席卷整个图形学研究领域。研究者们逐渐发现，当传统的基于物理的模型发展遇到瓶颈的时候，机器学习的方法也许能够帮助我们解释这些复杂的数理模型。毕竟只有理解了图像的深层结构，才能更好地指导图像的生成和处理。

 

 

文章推荐

 

1. CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖级的 NN修复方法） 

链接： Feature Learning by Inpainting; 

Github代码:

pathak22/context-encoder​github.com

2. CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF) 

 链接： High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis; 

Github代码:

leehomyc/Faster-High-Res-Neural-Inpainting​github.com

3. ICCV 2017的on demanding learning(感觉也是Context-Encoders的衍生版...) 

 链接：

On-Demand Learning for Deep Image Restoration， 

Github代码:

rhgao/on-demand-learning​github.com

 

4. SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion 

(CE中加入Global+Local两个判别器的改进)， 

Github代码:

1)https://github.com/satoshiiizuka/siggraph2017_inpainting​github.com

2)https://github.com/shinseung428/GlobalLocalImageCompletion_TF

  其中第二个实现稍微不同于原论文。但是展示效果非常棒。

5. ICLR 2018的New AI Imaging Technique Reconstructs Photos with Realistic Results 

Image Inpainting for Irregular Holes UsingPartial Convolutions  

号称秒杀PS的AI图像修复神器，来自于Nvidia 研究团队。引入了局部卷积，能够修复任意非中心、不规则区域），代码还没有放出来

[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions​arxiv.org

 

6. CVPR 2018的Generative Image Inpainting with Contextual Attention，

一作大佬jiahui Yu 后续还有个工作: Free-Form Image Inpainting with Gated Convolution,

 Github代码：

JiahuiYu/generative_inpainting​github.com

 

7. 哈工大左旺孟老师他们也有一篇Shift-Net: Image Inpainting via Deep Feature Rearrangement 

效果也不错，代码还没有放

 

8.Deep image prior 

项目主页：https://dmitryulyanov.github.io/deep_image_prior

适用场景： 
1）难以建模图像退化过程 
2）难以得到训练图像进行监督训练 

 

9.

ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作:

Contextual-based Image Inpainting​arxiv.org

 

10.EdgeConnect：使用对抗边缘学习进行生成图像修复

论文链接：ArXiv | BibTex

项目地址：https://github.com/knazeri/edge-connect#testing

EdgeConnect，一种基于边缘补全的图像修复新方法,这篇文章将图像修复的工作分成了两个部分，首先利用利用启发式的生成模型得到了缺失部分的边缘信息，随后将边缘信息作为图像缺失的先验部分和图像一起送入修复网络进行图像重建。（from 安大略技术大学）

具体来说，作者们提出了一个二阶段生成对抗网络 EdgeConnect，它包括一个边缘生成器，然后是一个图像补全网络。边缘生成器在图像的缺失区域（规则和不规则）生成预测边缘，然后图像补全网络使用预测边缘作为先验填充缺失区域。研究者通过公开可用的数据集 CelebA、Places2 和 Paris StreetView 对模型进行端到端评估，并表明它在数量和质量上优于当前最先进的技术。

详见这里
 

 

参考链接：

1.https://www.zhihu.com/question/56801298

2.https://blog.csdn.net/muyiyushan/article/details/79093806
--------------------- 

原文：https://blog.csdn.net/gavinmiaoc/article/details/80802967