Deep Image Prior：深度卷积网络先天就理解自然图像

点击我爱计算机视觉标星，更快获取CVML新技术

---

昨天分享了文章ICCV 2019 | Adobe 无需大量数据训练，内部学习机制实现更好的视频修补，其中借鉴的Deep Image Prior （DIP）是非常有意思的一篇文章，发表1年时间，谷歌学术显示该文已有241次引用，本文为知乎用户 PENG Bo 对其解读，欢迎大家参考。

作者：PENG Bo

出处：知乎技术备忘录专栏

https://zhuanlan.zhihu.com/p/31595192

Deep Image Prior 是发表于CVPR 2018 的 一篇非常有趣的研究，地址为：

https://dmitryulyanov.github.io/deep_image_prior

它让一个深度卷积网络去学习复制被破坏的图像（如，加入噪点的图像），发现这个网络会自动先学会如何重建图像。

例如，给定一幅被破坏的图像x，具体过程如下：

1. 用随机参数初始化深度卷积网络f。

2. 令f的输入为固定的随机编码z。

3. 令f的目标为：输入z，输出x。以此训练f的参数。

4. 注意选择合适的损失函数。例如对于降噪问题可关注整体的MSE，对于填充问题就应该只关心不需要填充的位置的MSE。

5. 当训练很久之后，f可实现输出一模一样的x。

6. 但如果在训练到一半时打断f，会发现它会输出一幅“修复过的x”。

这意味着，深度卷积网络先天就拥有一种能力：它会先学会x中“未被破坏的，符合自然规律的部分”，然后才会学会x中“被破坏的部分”。例如，它会先学会如何复制出一张没有噪点的x，然后才会学会复制出一张有噪点的x。

换而言之，深度卷积网络先天就了解自然的图像应该是怎样的。所以我们也可以理解为什么GAN的方法这么简单却效果这么好。这无疑来自于卷积的不变性，和逐层抽象的结构。个人认为这对于指导设计和测试网络架构很有意义。

Deep Image Prior的重要特点是，网络由始至终，仅使用了输入的被破坏过的图像作为训练。它没有看过任何其它图像，也没有看过正常的图像。但最终效果依然颇为不错。这说明自然图像的局部规律和自相似性确实很强。其实原理有点像NLM，不过相当于升级版。

请看图片例子。最左边是目标图像，它经过JPEG压缩，有很多压缩瑕疵。网络的目标是学会输出它。在100次迭代后，网络学会了输出很模糊的形体。在2400次迭代后，网络学会了输出一张清晰光滑的高质量图片。在50000次迭代后，网络才学会了输出原图。

再看图像由部分像素重建的例子，网络很擅长处理不断重复的纹理：

最后是网友的训练过程，他训练时选的学习速率有点大，最终结果很幽默......

项目地址：https://github.com/DmitryUlyanov/deep-image-prior代码地址：
https://github.com/DmitryUlyanov/deep-image-prior

---

图像增强、恢复、修补交流群

关注最新最前沿的图像视频增强、图像视频修补恢复，扫码添加CV君拉你入群，（如已为CV君其他账号好友请直接私信）

（请务必注明：图像修补）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。

（不会时时在线，如果没能及时通过验证还请见谅）

---

长按关注我爱计算机视觉