基于深度学习的低剂量CT图像去噪算法研究1

基于深度学习的低剂量CT图像去噪算法研究1

文章一：
Low-Dose CT Image Denoising Using a Generative Adversarial Network With a Hybrid Loss Function for Noise Learning
主要内容：
第一部分。引言部分：
通常用来解决低剂量CT图像去噪的有三种不同的方法：

1. sinogram filter
   在CT图像重建之前，原始数据或者它的对数形式可以被滤波处理，正弦域的噪声特性是容易被知道的，一些经典的方法包括：双边滤波法，自适应结构法，加权最小二乘法，但这些方法的缺点在于：空间分辨率损失和边缘模糊
2. iterative reconstruction
   迭代重建的方法是优化目标函数，增强投影数据的统计特性，真实图像的先验信息和成像系统的参数；迭代重建的方法包括：字典学习，非局部均值，低秩，总方差，方差等。
   缺点：迭代方法的几何参数和校正步骤是不公开的，且计算的成本比较高，但得到的图像质量是明显的。
3. post-processing
   直接对重建后的CT图像进行处理，NLM, BM3D，但处理后的图像仍然存在平滑度和残差问题。
4. 深度学习的方法
   近年来，深度学习的方法也被用于低剂量CT图像去噪的领域，RED-CNN，但最终图像会出现外观模糊，缺少细节等问题，CNN网络的目的是使恢复后的CT图像与正常剂量的CT图像的均方误差最小，为了解决这个限制，引入了GAN，为了解决GAN训练困难的问题，引入了Wasserstein distance来衡量真实图像和生成图像之间的差异，WGAN-VGG利用了低剂量CT之间感知损失（利用网络VGG来进行提取），基于WGAN-GP的SMGAN将多尺度结构损失和L1损失一起合并到目标函数中，得到的结果优于GAN-VGG。
   尽管WGAN-GP克服了奔溃模式和训练收敛的问题，但梯度惩罚削弱了GAN的表示能力，为了解决这个问题，提出了一种将SSIM和L1损失集成到整体的目标函数中，生成器生成的是噪声信号，用原始信号-噪声信号就会得到去噪后的CT图像。用专门的GAN进行低剂量CT和正常剂量CT之间的距离分布，SSIM损失保持了噪声抑制后的结构和纹理信息，L1损失保持了去噪图像的锐度。
   一般来说，自然图像的降噪依赖于噪声的类型，然而低剂量CT的噪声被认为是量子噪声和电子高斯噪声的总和，因此传统的图像去噪算法对低剂量CT图像的效果不理想。

GAN的训练

对于低剂量CT图像降噪，以CT图像作为输入，输出去噪后的版本，将Pdata和PG之间的散度最小化等价于对G的最小化，但这很容易导致对G参数的梯度消失，导致模坍塌。
常规的GAN算法存在：收敛，模式奔溃，生成图像质量差的问题。所以引入了LSGAN，解决的问题：当假样本和真样本距离较远时，在真样本的一侧存在的梯度消失的问题。使用LSGAN有两个好处：

1. 假样本位于决策边界正确的一侧时，由于距离较远，将会受到惩罚，惩罚会使生成的样本尽可能地接近正确的决策边界，减少生成样本和真实数据之间的距离；
2. 惩罚机制会导致训练过程中的梯度增加，使得LSGAN具有更高的稳定性。

目标函数

1. 对抗损失：
   与常规的GAN相比，LSGAN采用的是最小化divergence of Pearsonχ2，而不是最小化Jensen-Shannon (JS)来判别生成样本和真实样本之间的距离，在我们的任务中，最小二乘损失让我们关注的是生成后图像的分布和原始图像之间的分布。
2. 损失函数
   SSIM损失：
   SSIM损失包括亮度，对比度和结构这三个人眼的视觉成分，SSIM的表现优于均方误差(MSE)和峰值信噪比(PSNR)，为了测量去噪后的图像和正常剂量图像的相似性，可以使用经典的SSIM：
   
   SSIM可以用来计算正常剂量CT和去噪后CT的总体的相似度。
   L1损失：
   L1损失也称最小绝对值误差损失(LAE)，L2损失(MSE，均方误差)，在去噪的任务中，使用L1损失的好处：与MSE损失相比，去噪后的图像和真实图像之间的较大误差不会被过度补偿，L1LOSS可以减轻与MSE损失相关的模糊和不自然的特点，L1损失可以被描述如下：
   
   总体的损失函数的表达式：

为了从低剂量CT图像中高质量地恢复出高质量的去噪后的图像，我们采用不同的损失函数组成一个混合的目标函数来完成我们的任务。L1损失有助于提高信噪比，为了确保恢复后的CT图像保持纹理和结构的细节，我们总体的目标函数中包含了：最小二乘损失，L1损失和结构损失，总体的目标函数的公式为：

其中，α，β，γ是三个损失项的系数，在网络训练阶段，计算去噪后的图像和原始图像的总体损失函数，然后再反向传播用于神经网络的优化。总体的损失函数中有3个超参数，为了选择最优的参数，首先固定β和γ，然后选择最优的α；然后固定α和γ，选择最优的β，最后固定β和γ，选择最优的α。

网络的体系结构

生成器的网络结构：

生成器的网络结构参数：
在前面的卷积层中，第一卷积层采用32个7×7的kernel，第二卷积层采用96个5×5的kernel。在后面的卷积层中，第一卷积层使用96个kernel，第二卷积层使用1个kernel，所有kernel都是3×3。在中间，每个剩余卷积块的第一和第二卷积层每层都包含96个核，这些核的大小分别为3×3和5×5。
判别器的网络结构：
判别器的主要目的是鉴别分类的输入是真的还是假的。鉴别器的网络结构如下：

鉴别器是由6个卷积层和3个全连接层组成，具体的参数可以见文章。

实验结果

根据我的经验，实验的3个超参数分别设置为：0.005，0.995，0.95。
用5种不同的去噪方法进行对比：NLM，BM3D，RED-CNN，WGAN，SMGAN，其中这5种方法中，NLM，BM3D是最具有代表性的两种低剂量CT去噪的传统方法，RED-CNN,WGAN,SM-GAN是三种具有代表性的低剂量CT图像去噪的深度学习的方法。
定性指标的测量：
利用了3种定性测量的指标：PSNR，SSIM，RMSE


通过分析以上的表格我们可以得出结论：我们所提出的GAN在SSIM方面取得了最好的分数，但是在PSNR和RMSE都小于RED-CNN，这个原因是：PSNR和RMSE是基于像素之间的损失，在RED-CNN的训练过程中，是使MSE损失最小化，对于其余的GAN网络，是使其他损失最小化，所以我们提出的GAN网络在训练集的图片中SSIM是最小的，在测试集中定性测量的结果如下：
在PSNR和RMSE略逊于RED-CNN，但是提出的GAN在SSIM这个指标取得了最好的分数。
结构性测量的结果：
为了进一步评价我们的提出的GAN方法，我们采用了几个结构性的指标进行测量：
几个定量的指标如下：
平均CT数， standard deviation (标准差)，uniformity（均值性），entropy（熵），理想情况下：去噪后图像的统计特性应该与正常剂量CT图像的统计特性最为接近：

我们的方法取得了除标准差之外所有的指标的最优值。

结论

由于低剂量CT图像中的泊松噪声，很难在图像域上精确建模，而NLM和BM3D是适用于不同混合噪声的典型方法，所以传统的图像域去噪方法NLM和BM3D是不适用于对低剂量CT图像进行去噪的方法。