《基于深度残差生成对抗网络的医学影像超分辨率算法》---论文笔记

本文的创新点：本文在最新的 SＲGAN 基础上，通过使用缩放卷积、去掉批量规范化层(Batch-Normalization，BN)、增加特征图数量、加深网络等对 SＲGAN 作出改进，提出了基于深度残差生成对抗网络(Deep Ｒesidual Generative Adversarial Network，DＲ-GAN)的医学影像超分辨率算法，来达到对医学影像放大 2倍后仍然保留较多的纹理和细节特征的目标。
相关理论
1.生成对抗网络

GAN 过程中有两个场景:第一个场景中，从真实训练数据中采样 x，作为判别器模型 D(x) 的输入，D(x) 通过自身的训练学习，尽可能地输出接近 1 的概率值;第二个场景中，从先验分布中采样 z，经生成器模型生成伪造样本G(z)，将其作为判别器模型的输入，判别器模型的目的尽量使 D(G(z)) 接近 0，而生成器模型的目的尽量使它接近 1，最终在二者的互相博弈中达到平衡。
2.残差和快捷连接
该网络结构使得更深的网络更容易训练，因而可以通过增加网络层数提高识别准确率

如图 2 所示，残差网络在原始的卷积层上增加跳层快捷连接支路 Skip Connection 构成基本残差块，使原始要学习的H(x) 被表示成 H(x) = F(x) + x。残差网络的残差结构使得对 H(x) 的学习转为对 F(x) 的学习，而对 F(x) 的学习较H(x) 容易。残差网络通过层层累加的残差块结构，有效缓解了深层网络的退化问题，提高了网络性能。本文将改进算法的生成器部分设计成
基于残差网络的神经网络结构。
本文提出的 DＲ-GAN 改进原有 SＲGAN 主要是通过用缩放卷积的上采样层(ＲesizeLayer)替换原始 SＲGAN 的亚像素层，将 SＲGAN 的标准残差块去掉 BN 层，增加原始SＲGAN 判别器的特征通道数并添加快捷连接改进原始判别器参数，增加生成器部分的残差块数量来加深网络层次。
2.DＲ-GAN 算法的网络结构

代价函数
所以本文算法选取均方差以及训练数据和模型预测间的交叉熵作为代价函数。如式(1) ～ (8):

其中:P LＲ 为网络输入的图片，P HＲ 为供参照的原始高清图片，n 为小批量样本(mini-batch) 大小，本文 n = 16。H、W 分别为图片的高度和宽度，D(P HＲ (i，j)) 表示真实高分辨率图片训练数据输入判别器的结果，G(P LＲ (i，j)) 为图片经生成器后的生成结果，L d 1 表示真实高分辨率图片训练数据输入判别器判断后的输出结果与其真实值(为1) 的交叉熵。L d 2 表示低分辨率图片输入生成器生成的高分辨率图片再输入到判别器的判别结果与其真实值(为 0) 的交叉熵。


其中:V(P HＲ (i，j)) 为真实高分辨率图片输入到预先训练好的 VGG19 网络模型的输出结果，V(G(P LＲ (i，j))) 为低分辨率图片用生成器生成的结果输入到预先训练好的 VGG19网络模型的输出结果，L MSE 表示 P HＲ 与 G(P LＲ (i，j)) 像素之间的损失，L g 表示低分辨率图片输入生成器后的生成结果再输入到判别器的判别结果与真实值(为 1) 的交叉熵。L VGG 表示 V(G(P LＲ (i，j))) 与 V(P HＲ (i，j)) 像素之间的损失。
实验与结构
为了验证各超分辨率算法的处理效果，显示实验结果的客观合理，选取 4 幅有代表性，肺部气管、肺泡、胸廓等细节复杂，纹理丰富的肺部影像进行对比测试。实验结果如图 4 所示



从表 1 和表 2 的实验数据结果可以看出，DＲ-GAN 算法的 PSNＲ、SSIM、MPSNＲ、MSSIM 均高于原始 SＲGAN 算法。虽然 DＲ-GAN 算法超分辨率重建图像的 PSNＲ、SSIM 等客观指标低于 DＲCN，但是从主观视觉效果上来看，DＲ-GAN算法重建的图像纹理要更细腻、更逼真，视觉体验更好，更接近真实标准图像。在耗时方面，因为传统插值等方法计算简单，复杂度低，耗时短，DＲ-GAN 算法在提高精度的同时牺牲了时间，时间上虽然缺乏明显优势，但也在可接受的范围内。因此，综合评价来说，本文提出的 DＲ-GAN 算法要优于SＲGAN、DＲCN、Bilinear、NN、Bicubic 算法。