图像填充修复- 传统算法总结

从18年11月底开始看图像修复这个领域的文章，到复现何凯明大神的paper，目前传统领域的图像修复算法也大致了解了一些，做一个总结，后续应该不会再有时间精力去看图像修复的paper了。

总结

图像修复可以分为两种，一种是面积比较小的，通常称为inpainting，这种可以认为目前算法已经能处理得比较好了；另外一种则是面积相对大一些的，论文里面都称为Image Completion，也是图像修复的难点了。针对这些问题，目前看过的传统（除开深度学习的那种）主要有以下几种

1. 应用变分法对修复区域进行修复的，这种算法需要迭代，比较慢，效果也不是特别好，对于面积稍大的区域会产生明显的模糊效果。
2. 基于边界优先级的顺序填充算法，代表作就是Criminisi的paper，图像修复：Object Removal by Exemplar-Based Inpainting 学习笔记
3. 基于patch-vote的space-time Completion，对于每个点周围的patch进行投票作为该点的修复值，比较像non-local mean的感觉，效果也不错，adobe photoshop 5用的是这个算法。图像修复: PatchMatch与Space-Time completion
4. 基于offset的，用图割算法解多标签问题。这个只看了hekaiming的satistic of similar patch offsets,图像修复三： Image Completion Approaches Using the Statistics of Similar Patches

不足

1. 以上几个算法都只能基于已有区域的信息来填充未知信息的区域，未出现在已知区域的内容无法预知填充。
2. 对于已知区域的应用基本都只限于平移，而如果引入尺度，旋转等变化，其计算复杂度呈级数上升，而且对于已知区域的应用基本都只限于平移，而如果引入尺度，旋转等变化，其计算复杂度呈级数上升。

深度学习则可能可以同时解决以上两个问题，由此看来通过大量数据和模型复杂的处理能力，的确可以将很多传统算法中无法加入的先验信息加入到算法中去，即使是未出现的图片中的区域。

以上是这两个月时间看inpainting算法的一个总结，后续应该会把更多精力放入到图像恢复，分割等领域的传统算法，或者是深度学习算法。