attention unet + cldice 论文总结

Blood Vessel Segmentation from Low-Contrast and Wide-Field Optical Microscopic Images of Cranial Window by Attention-Gate-Based Network论文总结

论文：Blood Vessel Segmentation by Attention-Gate-Based Network

目录

一、论文背景和出发点

二、创新点

三、图像预处理

四、优先血管注意力（VAC）

五、VAC与attention unet结合

六、损失函数clDice

七、实验

八、结论

---

一、论文背景和出发点

问题：体视显微镜所拍摄的颅窗显微图像存在许多问题，使血管的观察变得复杂。如图像中存在蒸汽、气泡、类器官和硬脑膜等，这些都会影响血管的观察，如下图所示：

出发点：据我们所知，很少有研究通过基于计算机视觉的方法来提高颅窗光学显微图像的可观测性。基于人工智能和计算机视觉技术的进步，我们期望有一种方法可以通过人工智能而不是复杂的操作或昂贵的材料来处理微观图像，从而帮助正在观察颅窗的研究人员。

主要工作：提出了一种从低对比度和宽视场显微镜图像中分割颅窗血管的方法，基于注意力 U-Net框架和clDice，考虑了血管的连通性。

二、创新点

1. 从计算机视觉和深度学习的角度出发，我们提出了一种简单、低成本的方法来分割颅窗显微图像中的血管，以帮助研究人员观察类器官培养物的血管结构，而无需复杂的操作或昂贵的材料。

2. 引入图像去雾方法作为预处理步骤，以更好地分割硬脑膜和血管之间的边界。（效果极佳的图像预处理方案）

3. 制作了一个名为显微图像颅窗(MICW)的数据集，用于血管结构分割。

4. 使用gray-inversion（灰度反转）得到优先关注系数，进一步加强了attention U-Net对血管区域的焦点。（本文在模型上的改进之处）

三、图像预处理

1. 图像去雾

使用基于暗通道的去雾方法对颅窗的微观图像进行预处理，以减少玻璃盖层与硬脑膜遮挡对血管分割的影响。

暗通道去雾法，可参考博文：用暗通道去去雾气

（暗通道去雾法，简单的来说是通过在图像上一个局部区域内，寻找像素值最小的那个通道，这个通道，即暗通道，通过暗通道中的最小值来估算大气光照A，再估计出透射图t（x），在A和t（x）的基础上根据大气散射模型去雾。）

2. 图像去噪和伽玛校正

去噪后，图像变暗，图像中的噪声被放大，不利于后续的分割。运用伽玛校正(Gamma Correction)来提高图像亮度。

使用双边滤波(Bilateral filter)去除图像中的噪声。双边滤波器可以在去噪过程中保持小血管的边缘。

3. 绿色通道提取

分离RGB图像，提取的绿色通道图像与 RGB 图像相比，对比度更高。

4. 对比度增强

使用对比度受限自适应直方图均衡化(CLAHE)，来增强图像的对比度，以简化光学显微图像中血管结构的区分。

最终的预处理结果如下：

四、优先血管注意力（VAC）

目的：提高血管区域分割的优先度。

方法：对输入图像进行gray-inversion（灰度反转）得到优先关注系数（这里优先关注系数是指经过灰度翻转之后的图像中的每一个像素值）来强调血管区域，并将其用于4层attention U-Net中跳跃连接的特征图中。

为什么要使用gray-inversion（灰度反转）：

由于在灰度图像中，血管的像素值一般低于其他像素。因此，对输入图像进行反求后，血管区域的像素值较高，而非血管区域的像素值较低。

（因此，将反求后的像素值作为优先关注系数，与原像素值相乘，以提高血管区域的分割权重。）

优先注意系数的算子公式如下：

将每个像素值与其对应优先注意系数相乘，因为原图是灰度图像，得到的新特征图的血管区域会有更明显的特征。

其中，表示特征图中第 i 个像素值，来自第 n 次跳跃连接，表示第 n 个特征图中第 i 个像素的优先注意系数，表示新值。（这里的优先注意系数，应该可以理解为权重。）

五、VAC与attention unet结合

方法：在优先血管注意力操作后得到，输入到AG3（加性注意力）中计算出门控系数。相关算子公式如下：

这里以及之后的步骤与attention unet一致，可参考前继博文：Attention U-Net论文总结和代码实现

六、损失函数clDice

clDice 还可以评价血管结构和血管连通性的结果，可以优化管状结构的连通性。

详情可见，前继博文：clDice-一种新的分割标准-能够促进管状结构分割的连接性。

七、实验

数据集：显微图像颅窗(MICW)的数据集。

网络：unet、attention unet、改进的attention unet（本文提出）。

评价标准：Dice Score，Accuracy，Sensitivity，Specificity，clDice。

实验1：与unet、attention unet对比

与unet、attention unet对比本文提出的改进模型有明显的提高，另外在预测的分割效果上，本文提出的方法在分割的连通性上有明显的提升。

实验2：消融实验

以Attention U-Net作为主网络，分别添加Gray操作（优先血管注意力）和GCE+CE操作（图像预处理），从分割效果和评价标准上来看Gray操作和GCE+CE操作是有效的。

八、结论

本文最大的亮点在于图像预处理操作（GCE+CE操作）和优先血管注意力操作（Gray操作）。

在本文中，我们提出了一种使用带有血管关注的注意力 U- Net 对颅窗血管进行分割的方法，并创建了用于血管分割的显微图像数据集。带有血管注意力的注意力U-Net更集中于血管区域， 减少了其他非血管区域如类器官的影响， 并使用clDice 来训练模型以提高分割血管的连通性。此外，对于低对比度问题，我们使用 CLAHE 方法作为一个预处理步骤来增强微观图像的对比度。我们引入去雾技术对图像进行预处理，以改善被类器官或硬脑膜阻塞的血管的分割结果。实验结果表明，我们提出的方法在颅窗低对比度、宽视场显微图像的血管分割中取得了优异的效果。