RFNet: Region-aware Fusion Network for Incomplete Multi-modal Brain Tumor Segmentation

Brain Tumor Segmentation)

背景

利用多模态数据来提升语义分割的精度，不同的模态对不同的脑肿瘤区域敏感，RFNet设计了一个区域感知融合模块（RFM），根据不同的区域从可用的图像模态中进行模态特征融合。
BraTs挑战赛，提供了4种模态的脑肿瘤数据，T1，T1ce，Flair，T2。

T1、T2模态作为分析脑部状况的主要图像，成像相对恒定，T1组织纵向弛豫，可以清晰分辨脑部白质、灰质和脑脊液的分布，水肿区域在T1模态上呈深色，T1模态更注重组织的解剖细节。
T2组 织 横 向 弛 豫，T2模态更能突显病灶区域。Flair模态利用水抑制技术成像，浮肿区域呈低信号。T1c作为 T1的特殊成像方式，可以显示血液供氧情况，判定肿瘤边缘，因此，通过T1和T1c可以清晰观察脑的解剖 结构和相关肿瘤情况，对鉴别肿瘤和非肿瘤区域具有很强的参考价值；Flair和T2模 态 成像均与液体 信 号 有 关，通过像素值亮度差异反映出水肿区域与浮肿区域的轮廓、位置及大小。

贡献、总结

1. 提出了一种用于不完全多模式脑肿瘤分割的区域感知融合网络（RFNet）。通过明确考虑模态和区域之间的关系，引入了一种新的区域感知融合模块（RFM）。在RFM的帮助下，RFNet有效地聚合了模态特征的各种组合，并产生了用于分割的判别性融合特征。（融合后的特征有利于分割）
2. 为了解决RFNet训练不平衡的问题，提出了一种基于分割的正则化子。所提出的正则化子强制每个模态编码器产生用于分割所有肿瘤区域的判别特征，从而进一步提高融合特征的判别性。

实验

数据集：BRATS2020, BRATS2018 and BRATS2015
预处理：切除了大脑外部的黑色背景区域，并将每个MRI模态归一化为大脑区域的零平均值和单位方差；
在训练过程中，输入图像被随机裁剪为80×80×80，然后通过随机旋转、强度偏移和镜像翻转进行增强；

多种模态组合方式得到的分数

方法

1、四个编码器，分别从四种模态中提取特征

四个编码器不共享权重

2、区域感知融合模块

不同模态对不同区域的敏感性不同，对每个区域的不同模态给予不同的关注。以这种方式，可以获得肿瘤区域的判别特征，从而提高分割精度。
输入为4种不同模态的特征图以及上一层解码器特征，用4个特征图和拼接后的特征图分别计算注意力机制，得到NCR、ET、ED、BG（４分类）的概率图。

注意力机制，让得到的特征关注各个模态

3、解码器Dsep（基于分段的正则化器）

丢失多模态数据的现象通常会引入不平衡的训练问题[32]。具体来说，深度神经网络通常选择主要基于判别模式来分割肿瘤区域。一些模态编码器经过良好训练，能够识别相应的肿瘤区域，而其他编码器则不然。当辨别模式缺失时，这将导致肿瘤分割的准确性严重下降。
为了解决这个问题，我们提出了一种基于分割的正则化子。如图所示，RFNet采用加权共享解码器Dsep对每个模态图像进行单独分割。采用相应的加权交叉熵损失和Dice损失作为正则化项

Lpm是每个模态的predict map的损失函数

Lreg是预测图的 分割损失Lwce + Ldice ，交叉熵和Dice混合损失

4、解码器Dfuse

Dfuse用于根据融合的特征预测最终分割掩模。加权交叉熵损失和Dice损失用于将预测与对应的地面实况分割图对齐

融合损失

总损失函数：L predict map + L regularization + L fuse

Thinking

只用交叉熵和Dice损失函数，没用常规的融合损失函数L1，L2，考虑了模态缺失的情况。Dsep分别分割每个模态，帮助四个编码器学习代表性的区域特征。Dfuse和设计的RFM用于获得最终的分割预测。不用L1，L2损失做融合，稍微有点抽象。