【论文笔记】Dense GAN and multi-layer attention based lesion segmentation method for COVID-19 CT images

声明

不定期更新自己精度论文，通俗易懂，初级小白也可以理解

涉及范围：深度学习方向，包括 CV、NLP、Data Fusion、Digital Twin

论文标题：

Dense GAN and multi-layer attention based lesion segmentation method for COVID-19 CT images

基于 Dense GAN 和多层注意的 covid-19 的 CT 图像病变分割方法

论文链接：https://doi.org/10.1016/j.bspc.2021.102901

论文代码：

发表时间：2021年6月

创新点

1、提出了一种基于改进的 Dense-GAN 扩展数据集，并结合 U-Net 网络进行分割

2、提出了一种多层注意力机制

Abstract

随着 2019 冠状病毒疾病病毒在世界各地的传播，对患者的检测和筛查已成为各国政府头疼的问题。随着临床诊断数据的积累，2019 冠状病毒疾病的影像大数据特征逐渐清晰，CT 影像诊断结果变得更加重要。从患者肺部 CT 图像中获取清晰的病变信息，有助于医生采取有效的医疗方法，同时也有助于筛查真正感染的患者。

深度学习图像分割在医学图像分割领域有着广泛的应用。然而，使用深度学习来分割 2019 冠状病毒疾病患者的肺部病变存在一些挑战。由于图像分割需要逐像素标记病变信息，大多数专业放射科医生需要在第一线筛查和诊断患者，他们没有足够的精力标记大量图像数据。

本文提出了一种改进的 Dense-GAN 扩展数据集，并结合 U-Net 的2019冠状病毒疾病肺 CT 图像分割，提出了一种多层注意机制方法。实验结果表明，与其他图像分割方法相比，本文提出的分割方法提高了 2019 冠状病毒疾病肺部医学 CT 图像的分割精度。

Method

总体架构如下图

---------------------------------------------------------------------------------------------------------------------------------

基于 GAN 改进而来的 DCGAN 架构

作者在此处的创新点是，由于 GAN 在训练过程中，由于训练的不稳定性，经常会出现无意义的输出。  

DCGAN 结合 CNN 和 GAN，使用全卷积网络代替 GAN 中的多层感知器，从而有效地稳定了训练。 它基本上做了以下几个优化： 

1、移除池化层。 在生成器中，转置卷积用于上采样，而在判别器中，使用带步幅的卷积代替池化层；

2、生成器和判别器都使用批量归一化，以防止生成器将所有样本收敛到同一点；

3、去掉全连接层；

4、生成器输出层使用 ReLU 激活函数，最后一层使用 Tanh 激活函数；

5、判别器中的所有层都使用 Leaky ReLU 激活函数。

Dense Block

Dense Block 是判别器中的一个由卷积层构成的结构，如上图所示

考虑到 DCGAN 的缺点，医学图像对生成结果有更高的要求。作者在 DCGAN 的判别器网络中结构的卷积层之后提出了一个五层的 Dense Block。

首先， Dense Block 由一个 3x3 步长为 2 的平均池化层和许多 1*1 和 3*3 卷积核组成。

并且，每个 Dense Block 的 3*3 卷积前面包含一个 1*1 的卷积操作，其目的是减少输入特征图的数量，而不仅仅是减少维度和计算量 ，还要合并各个通道的特征。

---------------------------------------------------------------------------------------------------------------------------------

多层注意力机制 U-Net 网络

一种基于 U-Net 的多层注意力机制网络如上图

Edge attention

作者在第一层和第二层之间增加了边缘注意力模块。在该模块中，

首先，对分割后的病理组织的显着边缘特征信息进行建模。使用了三个卷积层，并在每个卷积层之后增加了一个 Relu 层，以保证模型的非线性表达能力；

并且，边缘注意模块设计了一种自上而下的特征信息融合机制，将第一层卷积的空间位置信息输入到边缘注意模块中，可以抑制无空间相干区域的边缘特征信息，提高目标区域的边缘特征，达到提高网络分割精度的最终目标。

Shape attention module

根据 COVID-19 患者肺部 CT 病灶的形状特征如上图，作者设计了两种不同的滤波器：

① 考虑到肺的形状没有明显的棱角病灶，但常有圆形或类圆形肺结节。在本文中，引入了一个圆形滤波器来增强这种形状特征的注意力能力。 ；

② COVID-19 患者肺部 CT 常出现高灰阶弥漫性磨玻璃影和肺结节影。这是因为COVID-19病毒进入肺支气管后会进一步侵入肺泡上皮细胞，并在其中进行自我复制。病毒的快速复制会导致上皮细胞明显肿胀，CT图像上会出现与普通肺实质灰差明显的高灰影。受传统阈值法的启发，作者采用灰度阈值滤波器提取超过灰度阈值的关键像素，提高高灰度阴影特征的检测效率。

构成了形状注意模块

本质就是，使用和肺部病变区域更相似的过滤器，这样就可以学习到更精准的细节

Local attention module

在肺部影像病灶的临床分析中，有经验的放射科医师通常采用两步法对肺部感染区域进行分割，粗略定位感染区域，然后通过检查局部组织结构来准确标记这些区域。

受临床经验启发，作者认为 CT 图像中待分割的每个像素点也需要从其相邻区域的特征中学习，判断其是否存在于病变组织范围内。

因此，引入了 local attention module，本质就是再进行一次 1*1 卷积，学习（新知识）权重的过程

加入多层 attention module 后，在肺部 CT 图像输入的训练过程中，毛玻璃病灶的检出率和病灶分割的精度可以得到提高进入网络。

---------------------------------------------------------------------------------------------------------------------------------

Experiments

实验目标：分割效果图

实验目标：每个网络的评估结果

实验结果： 大部分结果，令人满意