SSA-Net：基于半监督小样本学习的 covid-19 肺部感染区域分割的空间自我注意网络

声明

不定期更新自己精度论文，通俗易懂，初级小白也可以理解

涉及范围：深度学习方向，包括 CV、NLP、Data Fusion、Digital Twin

论文标题：

SSA-Net: Spatial self-attention network for COVID-19 pneumonia infection segmentation with semi-supervised few-shot learning

论文链接：https://doi.org/10.1016/j.media.2022.102459

论文代码：

发表时间：2022年4月

创新点

1、提出了一种新的 covid-19 肺部病变区域分割网络（SSA-Net）

2、提出了一种基于重新加权损失和选择高置信度预测值的半监督迭代分割框架

Abstract

冠状病毒病 (新型冠状病毒肺炎) 在 2019 年末爆发，并导致了持续的全球大流行。新型冠状病毒肺炎患者的胸部计算机断层扫描 (CT) 扫描中分割肺炎感染对于准确诊断和定量分析具有重要意义。可以开发基于深度学习的方法来进行自动分割，并为加强及时检疫和医疗提供了巨大的潜力。不幸的是，由于新型冠状病毒肺炎大流行的紧迫性，用于深度神经网络训练的CT数据集的系统收集非常困难，尤其是对多类别感染的高质量注释是有限的。此外，由于不规则的形状和模糊的边界，从CT 切片中分割感染区域仍然是一个挑战。

为了解决这些问题，我们提出了一种新型新型冠状病毒肺炎肺炎病变分割网络，称为空间自我注意网络 (SSA-Net)，用于从胸部CT图像中自动识别感染区域。在我们的SSA-Net中，利用自我注意机制通过从更深层提取有用的上下文信息而无需额外的训练时间来扩展接受领域并增强表示学习，并引入空间卷积以增强网络并加速训练收敛。此外，为了缓解标记多类数据的不准确性和训练数据的长尾分布，我们提出了一种基于重新加权损失和选择高置信度预测值的半监督少镜头迭代分割框架。它可以通过少量标记的图像数据对不同类型的感染进行准确分类。

实验结果表明，SSA-Net 的性能优于最新的医学图像分割网络，并提供了可临床解释的显着性图，可用于新型冠状病毒肺炎诊断和患者分诊。同时，我们的半监督迭代分割模型可以提高小且不平衡训练集的学习能力，并可以获得更高的性能。

Method

如上图所示，所提出的 SSA-Net 由三个主要部分组成: 具有自我注意学习的特征编码器，具有空间卷积的特征再提取器和特征解码器。

首先，CT 图像输入进特征编码器中，它由四个用于下采样操作的残差块组成，这与 Resnet34 的编码器相同；

并且，为了加强表示，在每个残差块之后引入了一个自我注意学习模块；

然后，先前层的注意图可以从连续层的注意图中提取有用的上下文信息，而在较低层学习的更好的表示又将有利于更深层层。

Self-attention learing

本文中使用的注意力图是基于激活的注意力图的。

具体来说，attention map 就是将 channel、height 和 width 的三维特征映射成一个 height 和 width的二维特征；

通过考虑每个通道的激活特征值来确定空间特征的分布，每个元素对最终输出的重要性取决于它在图中的绝对值；

因此，注意力图可以由一个映射函数生成，该函数旨在计算通道维度上所有元素的绝对值的统计信息。

---------------------------------------------------------------------------------------------------------------------------------

Feature re-extractor

特征提取器是一个新的空间卷积模块，处于编码器-解码器网络的瓶颈。通过使用顺序消息传递方案，该模块旨在提取特征图中行和列之间的更多空间信息并加强训练。

空间卷积模块

空间卷积模块，通过大内核的通道级卷积获得特征图。

具体地，从特征编码器获得的特征图是尺寸为 C × H × W 的 3D 张量 T，其中 C，H 和 W 分别是通道的数量，高度和宽度。

如上图所示，以 H 维为例，即从上到下传递消息，将特征图切成 H 片。k 表示内核宽度。它表示下一个切片中的一个像素可以从当前切片中的 k × c 像素接收消息；

第一个切片由 1 × k × c 卷积层卷积，并将输出添加到第二个切片，然后将新的输出馈送到下一个 1 × k × c 卷积；

此过程被迭代 H 次以获得最终输出。上述操作在四个方向上进行，包括向下、向上、向左和向右，以完成空间信息的传输。

---------------------------------------------------------------------------------------------------------------------------------

Feature decoder

特征解码器旨在构造来自特征编码器和特征提取器的分割结果。通过跳过连接，特征解码器可以从编码器获得更多细节，以弥补池化和卷积操作后的信息丢失。每个解码器层包括 1 × 1 卷积，3 × 3转置卷积和 1 × 1 卷积。基于跳过连接和解码器层的串联，输出具有与输入相同的大小。最后，采用 Sigmoid 函数作为激活函数来生成分割结果。

---------------------------------------------------------------------------------------------------------------------------------

Semi-supervised few-shot learning（半监督的小样本学习）

由于 COVID-19 数据集的类不平衡和有限的标记数据，作者提出了一个半监督的少镜头学习框架，该框架由两个主要部分组成: 肺区域分割和多类感染分割，如下图所示

 Lung region segmentation（肺部区域分割）

肺区域分割是新型冠状病毒肺炎病变分割的第一步。

首先，使用预训练好的 U-Net 模型来分割肺区域；

然后，所有未标记的 CT 切片被预先训练的 U-Net 分割，以获得肺的所有边界。

Multi-class infection segmentation（多类别感染分割）

作者提出的一种半监督的小样本学习策略中还引入了重新加权模块和信任模块，以平衡不同病变类别的分布并获得更可靠的伪标签。

此学习框架基于随机抽样策略，并使用未标记的数据逐步扩展训练数据集并生成伪标签。每个 CT切片都与由肺区域分割生成的肺罩连接，作为 SSA-Net 模型的输入。

训练时，利用重新加权模块，该模块是基于每个类的像素数的类重新平衡策略。通过选择高置信度值，可以从信任模块获得更可靠的伪标签。

Re-weighting module（重新加权模块） 与 Trust module（信任模块）本文，并没有详细介绍，本质上此两个模块属于数学推导过程，重新加权模块是重新定义了一种损失函数，来平衡权重；信任模块也是引入了一个量值，来选择不同区间的置信度的过程，想跟深入了解，请看原文。

Experiments

实验目标：不同结构分割结果

实验目标：不同网络对单类 COVID-19 肺炎病变分割的定量评估

实验结果：SSA-Net 大部分指标优秀