（脑肿瘤分割笔记：四十四）基于深度学习的脑肿瘤分割的综述
目录
Abstract&Introduction
脑肿瘤分割任务面临的主要挑战
深度学习方法的脑肿瘤分割的方法
脑肿瘤分割方法一：设计有效的架构分割方法
针对于不同目的的模型
对于精度有要求的模型
节省计算开销的模型
设计有效的网络架构
多路径网络
编码器-解码器网络
脑肿瘤分割方法二：处理在类不平衡下的分割
多网络驱动
网络级联
模型集成
多任务驱动方法
自定义损失函数方法
脑肿瘤分割方法三：充分利用多模态信息
学习多模态数据的排列方式
学习模态之间的配对
多模态的融合
Abstract&Introduction
脑肿瘤分割的主要目标是生成脑肿瘤区域的准确描绘
脑肿瘤分割任务面临的主要挑战
在脑肿瘤分割中主要面临的挑战是：1）位置不确定 2）形态不确定 3）低对比度成像 4）人工注释产生的注释偏差以及带注释数据稀缺问题 5）类不平衡的挑战。
以上挑战具体解释为：1）位置不确定性：神经胶质瘤是由围绕神经细胞的胶状细胞突变而成，由于胶质细胞的广泛分布，胶质瘤可能出现在大脑中的任意位置。
2）形态不确定性：不同患者不同时期的脑肿瘤形态和差异很大。
3）低对比度成像：MRI图像可能质量较低且对比度也很低，生物组织之间的边界区域模糊难检测
4）注释偏差以及带带标注数据稀缺的问题：人工标注的数据高度依赖个人的经验，很容易产生注释偏差，另一方面标注医学图像的成本很高，所以带有标注的脑肿瘤图像很稀缺。
5）类不平衡问题：不同肿瘤区域存在不平衡的体素数量
对于类不平衡目前存在的解决方法包括：1）网络的级联和集成 2）多任务学习 3）自定义损失函数 4）充分利用来自多模态的信息（这一解决方法主要集中多模态的融合以及如何处理确实的模态上面）
深度学习方法的脑肿瘤分割的方法
深度学习的脑肿瘤分割方法主要分为3类：1）设计具有有效架构的方法 2）处理不平衡状态下的方法 3）利用多模态信息的方法。
脑肿瘤分割方法一：设计有效的架构分割方法
设计有效的模块和网络框架成为实现准确分割性能的重要因素之一。
设计有效的网络架构时主要遵循两个原则：1）通过扩大感受野，注意力机制，特征融合更新来学习高级语义和定位珍贵目标等形式 2）在网络训练过程中减少网络的参数量并加快速度。
针对于不同目的的模型
对于精度有要求的模型
堆叠混合块与不同内核大小的组合，其中大尺寸的卷积核倾向于找到具有大感受野的全局特征（比如肿瘤位置和大小），而小的卷积核倾向于包含局部特征（例如边界和纹理）具有较小的感受野。
但是随着神经网络堆叠的层数逐渐增多会产生梯度消失和梯度爆炸的问题。针对这个问题已有的解决方法包括引入了残差结构，之后又扩展为密集连接进一步缓解这一问题。
为了在扩大感受野的同时，保持数据空间的分辨率，在这一问题上使用扩张卷积来解决。扩张卷积有以下好处：1）不引入额外的参数的同时扩大感受野 2）较大的感受野有助于分割大面积目标比如水肿区域。其次扩张卷积避免了空间分辨率的损失。这样可以在原始输入空间中准确定位分割对象的位置。但小结构的不正确定位和分割问题仅仅使用扩张卷积还不够，针对这一问题又提出了多尺度扩张卷积ASPP模块。
节省计算开销的模型
节省计算开销的模型也就是减少模型的参数，轻量化网络。包括使用深度可分离卷积或者扩张替换卷积。
设计有效的网络架构
基于深度学习的脑肿瘤分割网络分为单路径网络，多路径网络，编码器-解码器网络。单路径/多路径网络用于提取特征并对输入patch的中心像素进行分类。编码器能够从部分或整个图像提取深层特征然后解码器进行特征分割的映射。
单路径就是只有一条网络路径的网络，是最基础的网络结构，不再详述
多路径网络
多路径网络与单路径网络相比，多路径网络可以从不同的尺度不同的路径中提取不同的特征，将提取到的特征组合在一起进行进一步处理。
常见的多路径网络通常是有两个路径，一个称为全局路径（具有较大尺寸的卷积核，允许学习全局信息），另一个被称为局部路径，学习局部特征。全局特征提供肿瘤位置，大小和形状等全局信息。而局部路径提供肿瘤纹理和边界等描述性细节。
编码器-解码器网络
不论是单路径网络还是多路径网络都很容易受到输入Patch的大小和质量的影响，小尺寸的输入patch包含不完整的空间信息，而大尺寸的patch需要消耗更多的计算资源。其次特征到标签的特征映射是由最后一层的全连接层进行的，这种特征到标签的映射不是端到端的模式。
因此提出了编码器-解码器网络。基于全卷积网络的FCN和UNet等网络。
脑肿瘤分割方法二：处理在类不平衡下的分割
脑肿瘤分割的不平衡问题主要体现在脑肿瘤子区域的像素上，此外在患者样本中还存在一个不平衡即：HGG病例是远远多于LGG病例的。此外，人工专家引入的标准偏差也可以被视为一种特殊的类不平衡。
将现有的缓解类不平衡的方法分为3类：1）多网络驱动 2）多任务驱动 3）自定义损失函数
多网络驱动
常见的多网络系统可以分为 1）网络级联 2）网络集成
网络级联
在串联网络中，上游网络的输出作为输入传递给下游网络。这种拓扑结构模拟了从粗到细的策略。也就是说上游网络提取粗略的信息或特征，下游任务继续对输入进行细分，实现细粒度的分割。
模型集成
使用单个神经网络的缺点是性能受到超参数选择的重要影响。
级联网络旨在聚合多个网络输出聚合为一种从粗到细的分割策略。但是级联网络的下游网络性能依赖于上游网络，为了实现更好的脑肿瘤分割性能，来自多个网络的分割输出，以高方差聚合在一起。这种方法称之为网络集成。
模型集成通过聚合多个网络来扩大待训练参数的假设空间避免因数据不平衡而陷入局部最优解，模型集成可以被视为通过聚集来自多个同质网络的结果来改进最终分割结果的增强策略。
多任务驱动方法
单任务学习即仅仅设计和优化用于精确分割脑肿瘤的网络，其缺点是单个任务的训练目标可能忽略某些任务中的潜在信息，来自其他相关任务的信息也可以提高肿瘤分割的性能。
多任务的方法是在精确分割脑肿瘤的基础上引入辅助任务，多任务学习的主要设置是可以在多个任务之间共享低级特征表示。
常用的辅助任务包括边界定位任务，重构输入数据任务等
辅助任务被视为主要脑肿瘤分割任务的正则化。从参数更新角度看，辅助任务的作用是进一步规范共享编码器参数，有助于网络同时优化主分割任务和辅助任务
自定义损失函数方法
设计自定义损失函数的目的是为了减少损失函数中易分类样本的权值，增加困难样本的权重。这样网络模型更加侧重小比例样本，减少类不平衡的影响。
常见的自定义损失函数包括1）为边界像素赋予更多的权重的损失函数 2）使用Focal Loss来缓解类不平衡 3）多尺度损失函数。
脑肿瘤分割方法三：充分利用多模态信息
这一部分个人理解也不是很到位，后续如果理解到位了会继续修改。
多模态学习的方法可以分为3类：1）学习多模态数据排列方式 2）学习多模态数据的配对 3）学习多模态数据的融合
学习多模态数据的排列方式
在多模态处理中，现有的数据模态是根据学习任务之间的相关性排序的，因此网络可以专注于学习具有高相关性的模态。将每种模态转换为单个CNN，每个CNN对应不同的模态。CNN提取的特征相互独立。最终分类器返回的损失类似于对输入数据的打分，根据打分排序进行分割，这可以被视为多模态的排序学习。
学习模态之间的配对
这种方法是从多模态数据中选择最佳组合来实现精确的分割
多模态的融合
融合每个模态的特征进行精确分割，早期的简单融合是通过连接或添加从不同模态中学习到的特征。近年来提出使用注意力机制来强化融合模块中学习到的特征。