Edge-Gated CNNs for Volumetric Semantic Segmentation of Medical Images

论文：MIDL 2020

Abstract

纹理和边缘为图像识别提供不同的信息。边缘和边界编码形状信息，而纹理显示区域的外观。
尽管卷积神经网络(CNNs)在计算机视觉和医学图像分析应用中取得了成功，但主要是学习纹理抽象，这往往导致不精确的边界描绘。在医学成像中，专家手工分割往往依赖于器官边界;例如，要手动分割肝脏，医生通常首先确定边缘，然后填充分割掩模。基于这些观察结果，我们提出了一个即插即用模块，称为 Edge-Gated CNNs (EG-CNNs)，它可以与现有的编码器-解码器架构一起使用，来处理边缘和纹理信息。EG-CNN学习在编码器中强调边缘，通过辅助边缘监督来预测清晰的边界，并将其输出与原始CNN输出融合。我们在两个公开可用的数据集(BraTS 19和KiTS 19)上评估了EG-CNN与各种主流CNN的有效性，用于脑肿瘤和肾脏语义分割。我们演示了添加EG-CNN如何持续提高分割精度和泛化性能。

Introduction

图像分割在医学图像分析中占有重要地位，准确的异常描述是计算机辅助诊断和治疗计划的关键。随着深度学习的出现，卷积神经网络(CNNs)已经成功地应用于各种医学语义分割应用。特别是，创新的U-Net体系结构证明了下采样和上采样路径对多尺度特征表示学习的有效性，许多基于相同原理的编解码器cnn被引入。医学图像包含不同类型的表示:边缘编码形状信息，而区域的外观是由纹理表现的。因此，单一的处理管道可能会导致形状信息的丢失，并可能导致不精确的边界定义。经验证明，不同于人类的视觉系统，常见的CNN架构偏向于识别纹理内容。因此，CNN预测通常需要进行后处理，以补偿在训练过程中丢失的形状细节。

在单个管道中处理不同抽象的当前范式是次优的。它可以通过利用结构化的有效信息处理来补救，类似于人类的视觉感知系统。在医学成像中，放射科医生通常依靠识别感兴趣的器官/病变的边界作为手动划定的第一步。例如，从MR图像中分割脑肿瘤需要跟踪病灶边缘，然后推断内部区域。

我们没有提出新的CNN架构，而是提出了一种新的3D即插即用模块，我们称之为edge - gated CNN (EG-CNN)，它可以与任何编码器-解码器架构结合，以解决纹理和边缘表示的学习。提出的EG-CNN的贡献是双重的。首先，EG-CNN提出了一种有效的方法，通过一个新颖高效的层，即边缘门控层，逐步学习从主编码器-解码器架构中的多个尺度特征映射中突出边缘语义。其次，EG-CNN不单独监控边缘和纹理输出，而是引入了一种双任务学习方案，通过一致性损失来共同学习这些表示。因此，EG-CNN在不增加数据标注成本的情况下，利用边缘和纹理预测之间的对象性，以高度详细的边界提高了整体分割性能。

我们使用三种流行的3D CNN架构U-Net, V-Net , Seg-Net作为骨干与EG-CNN结合使用。

2. Methodology

2.1. EG-CNN

首先介绍EG-CNN的架构。一个通用的CNN编码器-解码器，正如我们所表示的主流，学习跨越多个分辨率的特征表示。我们的EG-CNN接收每一个主流特征地图，并学习突出边缘表示。特别地，EG-CNN由一系列残差块和定制层组成，即我们所表示的边缘门选层，以逐步提取边缘表示。然后将EG-CNN的输出与主流的输出相连接，生成最终的分割输出。此外，主流和EG-CNN由各自专用的损耗层以及一致的损耗函数监督，该损耗函数共同学习两流的输出。边缘地面真相是通过应用3D Sobel过滤器到原始地面真相面具在线生成的。

每个边缘门控层需要两个来自主流和EG-CNN流(我们称之为边缘流)的输入。将主流各分辨率的中间特征映射以及解码器中第一个上采样的特征映射作为输入输入到EG-CNN中。后者首先被送入残差块，接着是双线性上采样，然后连同编码器中来自其先前分辨率的输入一起被送入边缘门控层。每个边缘门控层的输出(最后一个层除外)被送入另一个残差块，接着进行双线性上采样，然后连同编码器相应的输入被送入下一个边缘门控层。

EG-CNN的架构

2.2. Edge-Gated Layer

边缘门控层突出边缘特征，并连接主流和边缘流中学习到的特征图。它们接收来自前边缘门控层的输入，以及对应分辨率的主流输入。

下图我们画了 Edge-Gated Layer的结构。

Edge-Gated Layer

此结构和ICCV_2019的Edge-Gated 较为相似。

2.3. Loss Functions

是语义分割网络中用于监督主流的标准损失函数，是用于学习边缘表示的特定损失，是用于边缘和纹理联合学习的双任务损失，加强预测的类一致性。

Semantic Loss: Dice Loss
Edge Loss: Dice Loss and balanced cross entrop
此处取

Consistency Loss:
我们通过Consistency Loss探索边缘和纹理预测的二元性和一致性监督边缘和主流的输出。受(Takikawa等人，ICCV_2019)的启发，主要CNN架构和地面真相掩模的语义概率预测首先被转换成边缘预测，方法是采用2.1节所述的可微方式进行空间导数。随后，我们利用L1损失来惩罚语义掩码的边界预测与相应的地面真相之间的不匹配。

通过形状约束来提升病灶区域的分割
shape context-形状上下文