图像去模糊代码 python_用Keras搭建GAN：图像去模糊中的应用（附代码）

雷锋网 (公众号：雷锋网) 按：本文为 雷锋字幕组 编译的技术博客，原标题GAN with Keras: Application to Image Deblurring，作者为Raphaël Meudec。

翻译 | 廖颖  陈俊雅  整理 | 凡江

2014年 Ian Goodfellow 提出了 生成对抗网络(GAN) 。这篇文章主要介绍在 Keras 中 搭建GAN实现图像去模糊 。所有的Keras代码可点击 这里 。

快速回忆生成对抗网络

GAN中两个网络的训练相互竞争。生成器( generator) 合成具有说服力的假输入 来误导判别器(discriminator )，而判别器则是来 识别这个输入是真的还是假的 。

生成对抗网络训练过程— 来源

训练过程主要有三步

根据噪声，生成器 合成假的输入

用真的输入和假的输入 共同训练判别器

训练整个模型：整个模型中判别器与生成器连接

注意：在第三步中，判别器的权重是固定的

将这两个网络连接起来是由于生成器的输出没有可用的反馈。 我们唯一的准则就是看判别器是否接受生成器的合成的例子。

这些只是对生成对抗网络的一个简单回顾，如果还是不够明白的话，可以参考 完整介绍 。

数据

Ian Goodfellow首次使用GAN模型是生成MNIST数据。 而本篇文章是 使用生成对抗网络进行图像去模糊 。因此生成器的输入不是噪声，而是模糊图像。

数据集来自 GOPRO数据 ，你可以下载 精简版数据集 (9GB)，也可以下载 完整版数据集 (35GB)。其中 包含了来自不同街道视角的人造模糊图像 ，根据不同的场景将数据集分在各个子文件夹中。

我们先把图像分到 A (模糊)和 B (清晰)两个文件夹。这个 A&B 结构对应于原始文章 pix2pix 。我创建了一个 自定义脚本来执行这个任务。 看看 README 后尝试一下吧。

模型

训练过程还是一样，首先来看一下神经网络结构。

生成器

生成器要生成清晰图像，网络是基于 ResNet blocks 的，它可以记录对原始模糊图像操作的过程。原文还使用了基于 UNet 的版本，但我目前还没有实现。这两种结构都可以很好地进行图像去模糊。

DeblurGAN 生成器网络 结构 — 来源

核心是采用 9 个ResNet blocks 对原始图像进行上采样。来看一下Keras上的实现！

ResNet 层就是一个基本的卷积层，其中,输入和输出相加，形成最终输出。

生成器结构的 Keras 实现

按照计划，用9个ResNet blocks对输入进行上采样。我们 在输入到输出增加一个连接 ，然后除以2 来对输出进行归一化。

这就是生成器了! 我们再来看看判别器的结构吧。

判别器

判别器的目标就是要确定一张输入图片是否为合成的。因此判别器的结构采用卷积结构，而且是一个 单值输出 。

判别器结构的 Keras 实现

最后一步就是建立完整的模型。 这个GAN的一个特点 就是输入的是真实图片而不是噪声 。因此我们就有了 一个对生成器输出的直接反馈 。

接下来看看采用两个损失如何充分利用这个特殊性。

训练

损失

我们提取生成器最后和整个模型最后的损失。

第一个是 感知损失 ，根据生成器输出直接可以计算得到。第一个损失保证 GAN 模型针对的是去模糊任务。 它比较了VGG第一次卷积的输出 。

第二个损失是对整个模型输出计算的 Wasserstein loss ， 计算了两张图像的平均差值 。众所周知，这种损失可以提高生成对抗网络的收敛性。

训练流程

第一步是加载数据并初始化模型。我们使用自定义函数加载数据集，然后对模型使用 Adam 优化器。我们设置 Keras 可训练选项来防止判别器进行训练。

然后我们进行epochs(一个完整的数据集通过了神经网络一次并且返回了一次的过程，称为一个epoch)，并将整个数据集分批次(batches)。

最后根据两者的损失，可以相继训练判别器和生成器。用生成器生成假的输入，训练判别器区别真假输入，并对整个模型进行训练。

你可以参考 Github 来查看完整的循环。

实验

我使用的是在 AWS 实例(p2.xlarge)上配置深度学习 AMI (version 3.0)进行的 。对 GOPRO 精简版 数据集的训练时间大约有 5 个小时(50个epochs)。

图像去模糊结果

从左到右：原始图像，模糊图像，GAN 输出

上面的输出结果都是我们用 Keras 进行 Deblur GAN 的结果。即使是对高度模糊，网络也可以减小模糊，产生一张具有更多信息的图片，使得车灯更加汇聚，树枝更加清晰。

左图： GOPRO 测试图像，右图：GAN 输出结果

因为引入了VGG来计算损失，所以会产生图像顶部出现感应特征的局限。

左图： GOPRO 测试图像，右图：GAN 输出结果

希望你们可以喜欢这篇关于生成对抗网络用于图像去模糊的文章。 你可以评论，关注我或者 联系我 。

如果你对机器视觉感兴趣，我们还写过一篇用Keras实现 基于内容的图像复原 。下面是生成对抗网络资源的列表。

左图： GOPRO 测试图像，右图：GAN 输出结果

生成对抗网络资源

更多文章，关注雷锋网 雷锋网雷锋网

添加雷锋字幕组微信号(leiphonefansub)为好友

备注「我要加入」，To be an  AI  Volunteer ！

雷锋网原创文章，未经授权禁止转载。详情见 转载须知 。