CE-Net论文学习笔记

原文：https://arxiv.org/abs/1903.02740
代码：https://github.com/Guzaiwang/CE-Net

摘要：
基于U-Net的方法不断被提出，但是，连续的池化和卷积导致部分空间信息的丢失。本文提出一种上下文编码网络(称为CE-Net)来捕获更多高级信息并保留空间信息用于2D医学图像分割。CE-Net主要包含三个模块：特征编码模块，上下文提取模块和特征解码模块。作者使用预训练的ResNet作为固定特征提取器，上下文提取模块由DAC模块和RMP模块组成。最后，作者将CE-Net应用于不同的2D医学图像分割任务取得的结果比U-Net和现存最好的方法都要好。

一、引言：
医学图像分割是医学图像分析中一个重要的步骤。U-Net的变体被用于不同的医学图像分割任务中。然而U-Net及其变体的一个常见问题在于连续的池化和跨度卷积降低了特征分辨率，以学习越来越抽象的特征表达。虽然，这种不变性有利于分类或物体检测任务，但是它常常不利于需要详细空间信息的密集预测任务。从直观上讲，在中间层维持高分辨率的feature map可以提高分割精度。然而，这样却增大了feature map的尺寸，这不利于加速网络训练和降低网络优化的难度。因此，需要在加速训练和保持高分辨率之间找到一个折衷点。通常，U-Net可以被看作编码器-解码器结构，编码器旨在逐步减少feature map的空间维度和捕获更多高级语义特征；解码器旨在恢复目标细节信息和空间维度。因此，在编码器中捕获更高级别的特征并在解码器中保留更多空间信息以提高图像分割的性能是自发的。
在编码器-解码器结构和Inception-ResNet结构的启发下，作者提出了密集空洞卷积块(DAC)来应用空洞卷积。原始的U-Net架构通过在编码过程中采用连续的3*3卷积和池化操作来捕获多尺度特征，而作者提出的DAC模块可以通过注入具有多尺度空洞卷积的四个级联分支来捕获更广泛和更深的语义特征。在该模块中，使用快捷连接来防止梯度消失问题。此外，受空间金字塔池化的启发，作者还提出了残差多核池化(RMP)模块。这个RMP模块通过采用各种大小的池化操作进一步编码从DAC中提取的目标的多尺度上下文特征，而没有额外的学习权重。综上所述，作者提出的DAC模块使用多尺度的空洞卷积来提取丰富的特征表达，然后RMP模块使用多尺度池化操作来进一步获取上下文信息。将DAC模块和RMP模块与编码器-解码器结构想结合，作者提出了一种名为CE-Net的新型上下文编码器网络，它依赖于DAC模块和RMP模块来捕获更多抽象特征和保留更多空间信息以提高医学图像分割的性能。
这篇论文的主要贡献总结为以下三个部分：
１.作者提出使用DAC模块和RMP模块来捕获更高级的抽象特征和保留更多的空间信息。
２.作者将DAC模块和RMP模块与编码器-解码器结构相结合，然后用于医学图像分割。
３.作者将所提出的方法用于不同的医学图像分割任务中，所获得的结果都比现存最先进的网络的分割结果还要好。

二、结构：
CE-Net由三部分组成：特征编码器模块，上下文提取模块，特征解码器模块。如下图所示。
A. 特征编码器模块：
在U-Net架构中，每个编码器块包含两个卷积层和一个最大池化层。在论文中，作者将其替换为预训练好的ResNet-34在特征编码器模块中，该模块保留了前四个特征提取块，而没有均值池化和全连接。与原始块相比，ResNet增加了快捷机制，从而避免了梯度消失问题，并加速了网络收敛，如图1(b)所示。为方便起见，作者使用经过预先训练的ResNet来改进U-Net作为基本方法。
B. 上下文提取模块：
上下文提取模块是由DAC和RMP组成的。该模块提取上下文语义信息并生成更多高级的feature map。

1. 空洞卷积：
   空洞卷积与普通的卷积相比，除了卷积核的大小以外，还有一个扩张率参数，用来表示扩张的大小。空洞卷积与普通卷积的相同点在于卷积核的大小是一样的，在神经网络中即参数数量不变；区别在于空洞卷积具有更大的感受野。感受野是卷积核在图像上看到的大小，例如3×3卷积核的感受野大小为9。
   （a）普通卷积，1-dilated convolution，卷积核的感受野为3×3=9。(所以，其实普通卷积就是扩张率为1的空洞卷积。)
   （b）空洞卷积，2-dilated convolution，卷积核的感受野为7×7=49。
   （c）空洞卷积，4-dilated convolution，卷积核的感受野为15×15=225。

2. DAC：
   在Inception-ResNet-V2和空洞卷积的启发下，作者提出密集的空洞卷积块(DAC)来编码高级语义特征映射。如图3所示，空洞卷积以级联的方式堆叠。在这种情况下，DAC有四个级联分支，随着空洞卷积数量的逐渐增加从1到1,3和5，然后每个分支的感受野将是3,7,9,19。DAC采用不同的感受野，类似于Inception结构。在每个atrous分支中，我们应用一个1×1卷积进行RELU。最后，我们直接采用其他方法来添加原始特征，如ResNet中的快捷链接。通常，大感受野的卷积可以为大目标提取和生成更抽象的特征，而小感受野的卷积对于小目标更好。通过组合不同扩张率的空洞卷积，DAC块能够提取具有各尺寸目标的特征。
   

3. RMP：
   医学图像分割中的一个挑战是目标尺寸的巨大变化。例如，中期或晚期的肿瘤可能比早期的肿瘤大得多。在本文中，作者提出了一个残差多核池化来解决这个问题，它主要依靠多个有效的视野来检测不同大小的目标。感受野的尺寸大致决定了我们可以使用多少上下文信息。一般的最大池化只使用单个池化内核，例如2×2。如图4所示，所提出的RMP用四个不同大小的感受野编码全局上下文信息：2×2,3×3,5×5和6×6。四个分支输出包含各种尺寸的特征图。为了降低权重的维度和计算成本，我们在每个池化分支后使用1×1卷积。它将feature map的尺寸减小到原始尺寸的1/N，其中N表示原始feature map中的通道数。然后我们对低维特征图进行上采样，以通过双线性插值获得与原始特征图相同的尺寸特征。最后，作者将原始特征与上采样的feature map相结合。
   
   C. 特征解码器模块:
   采用特征解码器模块恢复从特征编码器模块和上下文提取器模块中提取的高级语义特征。快捷连接从编码器到解码器来获取一些详细信息，以补救由于连续池化和卷积操作而导致的信息丢失。简单的上采样和反卷积是U形网络中解码器的两种常见操作。通过线性插值来实现上采样操作增大图像尺寸，而反卷积（也称为转置卷积）采用卷积操作来放大图像。从直观上讲，转置卷积可以学习自适应映射以恢复具有更详细信息的特征。因此，作者采用转置卷积来恢复解码器中的更高分辨率特征。如图1©所示，它主要包括1×1卷积，3×3转置卷积和1×1卷积。基于快捷连接和解码器块，特征解码器模块输出与原始输入相同大小的mask。
   D. 损失函数：
   CE-Net是一个端到端的网络架构。论文中提到的方法是对像素进行分类，最常见的损失函数是交叉熵损失函数。然而，像视神经盘和视网膜血管这类医学图像分割目标通常占据图像很小的区域，交叉熵损失对于这类任务并不是最好的。在本文中，作者使用Dice系数损失函数来代替常见的交叉熵损失，Dice系数是一种重叠度量，当ground truth可用时使用它来评估分割性能，如下公式所示：
   
   其中，N是像素个数，p(k,i) ∈ [0, 1] 和 g(k,i) ∈ {0, 1}分别表示类k的预测概率和真实标签。K是类别，${\sum }_{k}wk=1$是权重，根据经验，作者设置 ωk = 1/K。
   最终的损失函数定义为: Lloss = Ldice + Lreg，其中，Lreg表示用于避免过拟合的正则化损失项(也称为权重衰减)。为了评估CE-Net的性能，我们将所提出的方法应用于五种不同的医学图像分割任务：视盘分割，视网膜血管检测，肺分割，细胞轮廓分割和视网膜OCT层分割。

三、实验：
主要是介绍CE-Net在视盘分割，视网膜血管检测，肺分割，细胞轮廓分割和视网膜OCT层分割五种不同的医学分割任务上取得很好的分割效果，比U-Net和现目前最先的网络的结果都还要好。下面附上CE-Net在五种分割任务上的分割结果图。


作者为了证明所提出的CE-Net中预训练的ResNet，DAC模块和RMP模块的有效性，还使用ORIGA和DRIVE数据集作为例子进行消融实验。

采用预训练ResNet模型的消融研究：作者采用残差块来代替U-Net的原始编码器块，目的在于提高学习能力。将修改后的U形网络称为预训练残差块，并将特征解码器称为“ Backbone”。通过实验，将Backbone在ImageNet上进行预训练的结果与训练前的结果进行比较。图8显示了两种情况下损失的变化情况。我们可以看到，在预训练的情况下损失比没有训练的情况下减少得更快。表VI显示了分割结果。通过采用预训练的ResNet块，Backbone方法实现了更好的性能。
DAC模块的消融研究：DAC块采用具有不同速率的空洞卷积，在类似Inception的块中组装。因此，作者首先进行实验以验证空洞卷积的有用性。作者使用常规卷积来替换DAC块中的atrous卷积(称为Backbone + DAC w / o atrous)。如表VI所示，作者提出的DAC模块(称为Backbone + DAC with atrous)在OD分割中将重叠误差从0.073减少到0.061，并改善了视网膜血管检测中的Acc和AUC。这表明与常规卷积相比，空洞卷积有助于提取高级语义特征。作者还将提出的DAC模块与常规的Inception-V2模块(称为Backbone + Inception-block)进行比较。比较结果表明DAC块优于常规初始块，OD分割的重叠误差相对减少10.3％，从0.068到0.061。最后，重叠误差从0.075的Backbone减少了18.7％到0.061(Backbone + DAC)。这表明所提出的DAC模块能够进一步提取全局信息以获得具有高分辨率的高级语义特征映射，这对于分割任务是有用的。
RMP模块的消融研究：表VI还显示了RMP的效果，它提高了OD分割的性能。带有RMP模块的Backbone被称为“Backbone + RMP”。与 Backbone 相比，OD分割中的重叠误差从0.075减少到0.061，而视网膜血管检测的Acc和AUC分数从0.943和0.971增加到0.952和0.974。 RMP模块可以编码全局信息并改变特征映射的组合方式。
针对具有相似复杂性的网络的消融研究：研究人员已经表明，复杂性是网络能力的一个体现，复杂性的增加往往会带来更好的性能。因此，人们担心这些改进可能来自网络复杂性的增加。为了解决这个问题，作者将网络与具有类似复杂性的网络进行比较。在本文中，作者将CE-Net与Backbone + InceptionResNet-block进行比较，表VI显示CE-Net更好，OD分段中的重叠误差从0.065减少到0.058，并且Acc和AUC分数从0.951和0.974增加到0.955和0.978。

四、总结
医学图像分割对于医学图像分析是很重要的。在本文中，作者提出了CE-Net这一端到端深度学习框架，用于医学图像分割。与U-Net相比，CE-Net在特征编码器中采用了预训练的ResNet块。将DAC模块和RMP模块集成到使用ResNet修改的U-Net结构中，以捕获更多高级特征并保留更多空间信息。作者提出的方法可以通过使用新的训练数据和ground truth对模型进行微调，从而将其应用到新的任务中。实验结果表明，该方法能够改善不同任务的医学图像分割，包括视盘分割，视网膜血管检测，肺部分割，细胞轮廓分割和视网膜OCT层分割。该方法具有普遍性，并且可以应用于其它2D医学图像分割任务。在论文中，作者提出的方法现在在2D图像上得到验证，并且将来会将其扩展到3D数据。

参考连接：
1、CE-Net: Context encoder network for 2D medical image segmentation：https://blog.csdn.net/u012193416/article/details/88585323
2、空洞卷积的理解：
https://blog.csdn.net/weixin_42560055/article/details/83348495