（脑肿瘤分割笔记：五十二）RFNet: Region-aware Fusion Network for Incomplete Multi-modalBrain Tumor Segmentation

目录

摘要：

Introduction

方法

3.1任务定义

3.2模型结构

3.3RFM模块

概率图学习

区域感知多模态融合

3.4分割正则化器

3.5整体损失函数

总结

---

摘要：

在现有的脑肿瘤分割方法中，常常会出现缺少某些模态图像的问题，从而导致分割网络的性能下降--遇到的问题

在本文中提出了一个区域感知融合网络（RFNet），它能够自适应和有效利用多模态的数据进行组合进行肿瘤分割，考虑到不同模态对不同的脑肿瘤区域的敏感性问题。在RFNet中设计了区域感知融合模块（RFM）根据不同的区域对现有的图像模态进行模态特征融合。得益于这个RFM模块，RFNet可以有效的聚合模态特征，自适应的从不完整的多模态图像中分割出肿瘤区域。

此外还开发了一个基于分割的正则化器，以防止RFNet由于多模态数据不完整而导致的训练不充分和不平衡。具体来说，除了从融合模态特征中获得分割结果外，我们还从相应的编码特征中单独分割每个图像的模态，通过这种方式迫使各模态编码器学习判别特征，从而提高融合特征的表示能力

Introduction

我们的RFNet是由编码器-解码器架构来构建的，其中使用4个编码器从不同的模态中提取特征，为了建立图像形态和肿瘤区域之间的关系。在RFNet中引入了区域感知融合模块（RFM）。RFM首先通过学习到的概率图将模态特征划分到不同的区域（即肿瘤子结构）。概率图表示每个像素处肿瘤区域的概率。然后RFM再每个区域生成相对应的注意权重，自适应的控制不同图像形态的贡献。

由于脑瘤通常占据大脑的一小部分，我们引入区域范数池操作，从每个区域获得一个标准化的全局特征。因此，我们防止全局特征在数值上过小。然后，我们使用两个完全连接的层和一个sigmoid激活从图像模式和肿瘤区域的全局特征中获得注意权重。在这种方式下，RFM将为对某些肿瘤区域更敏感的模式生成更大的权重，从而产生具有辨别性的融合特征，以便进行精确分割

方法

3.1任务定义

不完全多模态脑肿瘤分割是指从Flair、T1c、T1、T2等多种组合的多模态MRI图像中，分割出整个肿瘤、肿瘤核心和增强肿瘤三个脑肿瘤区域。整个肿瘤由所有三个肿瘤子区域组成，即坏死和非增强肿瘤核心(NCR/NET)、瘤周水肿(ED)和gd增强肿瘤(ET)。