图像修复系列-图像修复概述

图像修复的最初是为了去除遮挡或对破损的图像就行修复，但是，修复图像是一个ill-pose（病态）问题，所示，图像修复需要一些前提假设（也就是之前提到过的正则约束），通过在一定约束条件下，建立最优化准则，从而实现图像修复。根据不同的假设，延伸出不同的图像修复方法，主要如下：

（1） 假设图像连续光滑，此时，延伸出的图像处理方法，主要是通过一些算子，不断与原图像进行卷积，达到逐渐修复图像的目的

（2） 假设图像属于有界变差空间(BV空间），此时，延伸出基于PDEs或能量泛函(最后通过变分原理转化为PDEs的初边值问题)，通过求解PDEs的初边值问题达到修复图像的目的

（3）假设图像的自相似性，即假设图像的缺损部分能够根据一些准则，通过合理组合图像的其余部分的信息，实现图像修复，具体方式是使用纹理合成的原理

（4）通过稀疏表示或低阶秩，通过图片自身训练稀疏表示的基或低价秩约束，从而实现图像的修复

对于第一类，这里将不再举例介绍，正则约束比较简单，能够修复的图像类型也比较简单（因为连续光滑的图像在现实中比较少），最简单的方法就是用卷积，不断将已知部分的信息传递到未知部分；

第二类比较有名，例如Bertalmio 等提出沿修复边界的等照度线方向传播信息的各项异性扩散的三 阶 PDEs 模型(BSCB 模型)【1】，Chen 等将图像去噪中的（TV）模型应用于图像修复【2】，之后就有很多很多人将图像去噪模型应用与图像修复，这里就不再赘述了；

第三类是以Criminisi 等【3】提出了利用结合待修复点的几何结构和领域置信度确定修复顺 序实现模拟人工修复图像的过程基于块的纹理合成修复模型，通过全局搜索 匹配样本块、利用复制进行图像缺损区域填充，实现图像由缺损边缘渐次向内部修复的方法，最后，微软的Sun等【4】人在Criminisi等人的基础上，将基于交互式的结构信息引入，从而避免了原始方法的误差传播的问题；

其实，还有一类时第二类和第三类的结合，主要时克服第二类方法中对纹理信息（有界变差空间中不包含纹理），将图像分解为cartoon（结构图像，保证其用BV空间可以描述）和texture(纹理图像)，在一些场景中能够获得更好的修复结果【5】；

第三类是利用稀疏表示，稀疏表示在图像去噪应用中获得了很大的成功，和第二类一样，很快被应用于图像修复，Guleryuz提【6】出了一个基于分析字典(小波基、DCT 基、复数小波 基、小波包基)的迭代修复算法，该算法仅利用了局部光滑性(Local Smoothness) 稀疏先验，所以，修复纹理和边缘的修复能力较弱；Elad、Starck 等【7】提出 了基于图像分解和稀疏表示的修复模型，该模型通过对图像的结构(Cartoon) 和纹理(Texture)分别学习最优稀疏表示的字典 D1、D2，且 D1、D2 满足(1)字典 D1 不能够稀疏表示纹理;(2)字典 D2 不能够稀疏表示结构，通过交替迭代算法 求解最优化问题实现图像修复，这里的D1和D2采用的均为分析型字典，还有通过在图像本身中抽取图像块训练字典（KSVD方法训练），还有很多很多这方面的内容，不再赘述；  Liu等【8】实现了基于低阶秩的图像修复方法，图像具有低阶秩性质时，利用极低的已知数据，也能够较好地实现恢复，此外，Chen 等【9】提出了结合 Tucker 分 解和流行学习的张量填充算法，该算法利用流行学习获取缺损张量中的辅助 先验信息，该先验信息用于辅助 Tucker 分解对高阶张量的秩进行自动估计， 最后通过凸优化方法求解核范数(Nuclear Norm)实现张量填充，该算法在彩色 图像修复和视频修复应用中获得较好的效果。

在之后的各个序列中将逐一介绍一些典型的图像修复方法。

文中所述参考文献见：

【1】Bertalmoí M, Sapiro G, Caselles V, et al. Image Inpainting[J]. Proceedings of Annual Conference on Computer Graphics & Interactive Techniques, 2000:417--424.

【2】Shen J, Chan T F. Mathematical Models for Local Nontexture Inpaintings[J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019-1043.

【3】Criminisi A, Pérez P, Toyama K. Region Filling and Object Removal by Exemplar-based Image Inpainting[J]. Image Processing, IEEE Transactions on, 2004, 13(9): 1200-1212.

【4】 Sun J, Yuan L, Jia J Y, Shum H Y. Image Completion with Structure Propagation[C]. ACM SIGGRAPH 2005: 861~868

【5】 贾渊，刘鹏程，牛四杰. 偏微分方程图像处理及程序设计[M]. 北京：科学出 版社，2012：160-176.

【6】Starck J L, Elad M, Donoho D L. Image decomposition via the Combination of Sparse Representations and a Variational Approach[J]. Image Processing, IEEE Transactions on, 2005, 14(10): 1570-1582.

【7】 Mairal, J, Elad, et al. Sparse Representation for Color Image Restoration[J].Mag Rong Ranaon on, 2008, (1):53-69.

【8】Liu J, Musialski P, Wonka P, et al. Tensor Completion for Estimating Missing Values in Visual Data[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013, 35(1):208 - 220.

【9】Chen Y, Hsu C, Liao H - M. Simultaneous Tensor Decomposition and Completion Using Factor Priors[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2014, 36(3):577 - 591.