DPAFNet：一种用于多模式脑肿瘤分割的残差双路径注意力融合卷积神经网络

DPAFNet：一种用于多模式脑肿瘤分割的残差双路径注意力融合卷积神经网络

Biomedical Signal Processing and Control 【2023】

背景

早期2D分割，缺乏连续信息，很难提取全局上下文信息，3D卷积更具上下文意识，然而3D方法仍然不准；类别不平衡，对小肿瘤仍然难分割，BraTs2019中肿瘤仅占图像的1.5%，ET仅占WT的11%，1，2，4之间的边界模糊

贡献

从两条路径中提取特征，选择性地融合特征图，最大限度地提取了有意义的语义信息；针对类别不平衡问题提出基于双路径模块和多尺度注意力融合块，该模块聚焦于ET等小目标区域，以缓解类间模糊问题；应用3D迭代扩张卷积合并模块，扩展感受野，提高上下文感知能力

1. 提出了一种基于编码器-解码器结构的新的3D分割模型，该模型将不同信道的全局和局部信息与MAF模块相结合。
2. 提出了一种新的由残差连接DP模块和MAF模块组成的三维特征提取块。这两个分支应用不同大小的卷积核来提取特征，并引入残差连接以避免网络退化。提取的特征图在不同尺度上进行融合，以获得更丰富的语义信息。
3. 为了进一步提高模型的上下文感知能力，引入了一个3D IDCM模块，该模块迭代地将特征图与不同的感受野融合，以更有效地进行上下文学习。该模块有利于密集像素级预测，提高最终分割精度。

实验

BraTs 18/19/20 剪裁为128×128×128体素，并将其输入网络。由于MRI的成像方式、病例和设备的多样性，不同的扫描时间会对MRI产生影响，导致MRI的强度不均匀。为了标准化T1、T2、T1ce和FLAIR序列的强度，使用z评分标准化方法来获得标准尺度下的强度值。z=（xμ）/σ（9），其中x是原始特征的每个像素的强度值，μ是平均强度值，σ是强度值的标准偏差。此外，为了提高模型的学习和泛化能力，使用了多种数据增强方法，包括随机镜像翻转、随机旋转（±10◦ ), 随机强度偏移和随机尺度变换。


IDCM的不同空洞率实验

后处理消融实验，以及各模块消融实验

方法

ulti-scale context feature extraction block（多尺度上下文特征提取模块）

（a）残差连接的双分支模块
（b）Pointwise Conv就是1x1x1卷积
MAF module，把DP得到的两个特征图加权融合
通过残差连接的对偶路径卷积获得不同尺度的特征图，然后通过合并注意力模块获得融合特征，如图所示。3。在通道级别，每个特征图都被压缩为分支中的标量。这种压缩强调全局分布的大型对象。然后，为了减轻尺度变化并强调较小的对象，在另一个分支中应用逐点卷积作为局部上下文聚合器，该聚合器利用每个空间位置进行逐点通道交互。通过Sigmoid函数将特征图G+L映射到（0,1）。融合权重ω和1ω位于该区间，这使得网络能够在不同尺度特征S1和S2之间进行加权平均，以实现全局和局部信息的聚合。值得注意的是，在该模块中，通过对集成特征执行信道缩减和信道恢复操作，使用类似瓶颈的结构来减少参数的数量。在该模块中，集成特征、局部通道信息和融合细化特征具有相同的通道和分辨率，可以保留和突出低级视觉信息的细节特征。

3D iterative dilated convolution merging (IDCM) module（3D重复空洞卷积合并模块）

在分割网络中，通常通过池化、插值等方法进行下采样和上采样，以降低或恢复输入特征图的分辨率，从而达到对输入图像进行特征提取和图像重建的效果。然而，这些操作导致了分割中的问题，例如像素和空间级别的信息丢失、小对象重建的困难等。扩展卷积可以保存内部数据，避免像素的丢失，扩展感受野，获得更丰富的上下文信息，通常用于缓解这些问题。在不同的膨胀率下，膨胀卷积可以满足不同大小对象的分割要求，并注意不同距离的信息。然而，当膨胀率的值较大时，提取特征时会出现网格效应，这将失去上下文信息的连续性，降低像素级任务的分割效果。为了解决这个问题，介绍了一个密集连接的IDCM模块，并将其扩展到3D，如图4所示。该模块提取了编码器最后一层输入的输出特征，其中包含了经过多次特征提取后的语义特征图的更丰富表示。通过不同膨胀率的膨胀卷积将输入特征迭代连接到特征图中，并使用1×1×1卷积将通道数量减少到与输入特征相同，从而融合局部和全局上下文信息，合并多尺度特征，并捕获丰富的全局表示。此外，IDCM模块使用不同膨胀率的膨胀卷积来获得不同尺度的特征，以有效扩展卷积核的感受野，提高模型对不同尺度目标的识别能力。不同尺度特征的迭代叠加可以有效地减少扩张卷积的网格效应，避免像素点的丢失，保留空间层次信息，最终保证分割模型具有更丰富的语义表示。

损失函数

generalize dice loss (GDL)
测试时间增强（TTA）作为后处理方法

Thinking

把3DUNet的DoubleConv替换为DP+MAF（多尺度特征加权融合），在瓶颈层加入IDCM（不同尺度特征重复叠加）