边缘 U-Net：基于具有边界信息的深度 U-Net 模型，使用 MRI 进行脑肿瘤分割

边缘 U-Net：基于具有边界信息的深度 U-Net 模型，使用 MRI 进行脑肿瘤分割

背景

脑部血凝块通常是由脑肿瘤引起的。早期发现这些血栓有可能显著降低脑癌病例的发病率和死亡率。因此，准确分割肿瘤组织磁共振图像 （MRI） 对于正确的脑肿瘤诊断和治疗是必不可少的。已经提出了几种用于脑肿瘤 MRI 分割的深度学习方法，每种方法都旨在正确绘制“边界”，从而实现高度准确的分割。本研究引入了一种深度卷积神经网络 （DCNN），称为边缘 U-Net 模型，该模型是受 U-Net 架构启发的编码器解码器结构。Edge U-Net 模型可以通过将边界相关的 MRI 数据与来自脑部 MRI 的主要数据合并来更精确地定位肿瘤。
难点：尽管许多基于深度神经网络的模型已经取得了成功，但仍然存在许多挑战和局限性，包括由于所使用的成像协议、图像的模态和MRI系统中固有的随机噪声导致的脑肿瘤组织的强度变化（Prima，Ayache，Barrick，&Roberts，2001），这可能导致模糊的组织纹理和模糊的肿瘤组织边界。此外，多个类别或组织可以共存于大脑图像的单个像素内，这一现象在核磁共振成像中被称为部分体积效应（Arabahmadi，Farahbakhsh，&Rezazadeh，2022；Hesamian，Jia，He，&Kennedy，2019）。脑肿瘤的粗略边界被脑肿瘤分割模型视为另一种问题。除此之外，脑肿瘤在大脑中的位置、大小和形状也各不相同（Wang&Chung，2022）

贡献

开发了一个新的脑肿瘤自动分割框架来解决其中的一些问题。大脑核磁共振成像是在这个框架下操作的，以减少成像过程中的背景噪声。U-Net架构（Ronneberger等人，2015）启发了一种新型编码器-解码器CNN模型的开发。为了实现更准确的肿瘤组织分割，该编码器-解码器模型考虑了大脑MRI边界，并由边缘引导块（EGB）模块引导。最后，有效的损失函数有助于同时处理肿瘤边界和肿瘤组织。

1. 开发了一个基于U-Net结构的脑肿瘤深边缘MRI分割学习模型，重点关注MRI边界。结果表明，该框架的性能优于当前最先进的模型。
2. 建议使用**对比度有限的自适应直方图均衡（CLAHE）**来增强MRI对比度并实现更好的脑肿瘤分割
3. 设计一个EGB模块，将原始MRI边界特征与其他MRI特征融合。表明EGB提供了更多的边界信息，提高了检测肿瘤位置和形状识别的能力。
4. 为我们的边缘深度学习模型开发了一种新的损失函数，在该模型中，我们将像素损失和边界损失相结合，从而更好地识别边界，从而获得更好的像素值，从而获得更高的整体性能。

实验

数据集：公共数据集Cheng et al.，2015）是最常用的脑肿瘤数据集，涵盖了三种类型的脑肿瘤。它包含233名胶质瘤、脑膜瘤和垂体瘤患者的3064T1-CE MRI，分辨率为512×512像素。该数据集还包括肿瘤标签，以帮助确定异常区域。表2显示了数据集的三种类型的肿瘤的分布。三种平面（轴向、矢状和冠状）的成像可用于三种类型的肿瘤。图1描绘了具有不同平面的每种肿瘤类型的样本。

为了评估脑肿瘤分割的稳健性，将所提出的模型（Edge U-Net）的性能与一般最先进的模型的性能进行了比较。不同方法，不同数据集的比较实验？？

方法

编码器分支和解码器分支。U-Net编码器分支的结构与CNN的结构相似；卷积运算之后是用于编码器级别的特征提取的下采样。第二个是解码分支，由上采样和级联层组成，然后是规则的卷积运算。因此，解码分支通过编码器网络将学习到的判别特征语义地应用到像素空间，实现密集分类。编码器和解码器的同一级别层之间的跳过连接使得能够将来自编码器网络的特征图与上采样的特征图级联，该特征图起到切换粗略全局上下文信息的作用。在下采样期间，此方法有助于恢复局部特征。
解码器部分由四个块组成，这些块与MRI中相应的编码器块以及MRI本身耦合。EGB用于边界信息的检测和突出显示。添加EGB是为了解决退化和饱和度问题，改进每个块的提取特征，并有助于恢复输入图像

双分支编码器

影像编码器用的是最大池化，边界编码器用的是平均池化

Edge guidance block (EGB)

Recovering realistic texture in image super-resolution by deep spatial feature transform. 受此启发
XiE是边缘特征，Xi是语义特征，边缘特征Sigmoid之后作为概率权重对Xi加权，引导Xi，加上残差连接，

损失函数

将图像分割任务转换为能量函数最小化任务。开发用于对象分割的最合适的能量函数的主要目标是将能量函数的值降低到实现精确分割所需的最低水平。


分割损失是交叉熵，边界损失是IOU损失
后处理：
在所提出的框架的最后阶段使用了形态学变换和简单的阈值技术。基于输入图片的形式，形态梯度有助于减少噪声。它的作用代表了图像膨胀和侵蚀之间的区别。简单阈值技术定义为：f（x，y）>t，其中t是阈值，用于将像素分类为预测掩模或背景像素。这些技术用于去除边缘周围的小假阳性值和斑点，以产生最终的预测输出（Biratu，Schwenker，Ayano，&Debelee，2021；Magadza和Viriri，2021），作为进一步处理预测掩模的最后一步（见图9）。如图所示，肿瘤组织图像在后处理后被清晰地聚焦和定义。

Thinking

文中没说边界输入是通过哪种方式提取的边缘，应该是Sobel或者Canny，用边缘特征给原图影像特征加权融合，融合后的特征以及边缘特征跳跃连接到解码器。