PraNet: Parallel Reverse Attention Networkfor Polyp Segmentation

Tittle:用于息肉分割的并行反向注意力网络

摘要

准确的息肉分割主要面临着两个难点：1）相同类型的息肉有不同的大小，颜色和纹理。2）息肉与周围粘膜的边界模糊不清晰。

为了解决这些挑战本文提出了一种并行反向注意网络ParNet。具体来说首先使用并行局部解码器（PPD）在高级层中聚合特征，基于组合的特征，生成一个全局信息特征图。此外我们利用反向注意模块来挖掘边界线索，这个模块可以建立区域和边界线索之间的关系。并且由于区域和边界的循环合作机制，网络能够能够校正一些错误的预测结果.

Introduction

在本文中提出了一种新的深度神经网络，称为并行反向注意网络（PraNet），本文认为面积和边界是区分正常组织和息肉的两个关键特征。本文的方法是先预测粗区域，然后通过反向注意的方式隐式建模边界。

本文的主要贡献在于三个方面：1）本文的网络通过使用并行部分解码器PPD聚合高级层中的特征，组合的特征获取上下文信息并生成一个全局映射，作为后续步骤的初始指导区域。利用一组循环反注意（RA）模块来建立区域和边界线索之间的关系2）介绍了几种新的息肉分割评价指标。

方法

下图显示了本文提出的网络结构，它利用并行局部解码器生成高级语义全局图，并利用一组反向注意模块精确分割息肉。

基于并行局部解码器的特征聚合

目前流行的医学图像分割网络通常依赖于UNet[22]或类似U-Net的网络(如u - net++、ResUNet等)。这些模型本质上是编码器-解码器框架，通常聚合从cnn中提取的所有多层次特征。与高级特征相比，低级特征由于其更大的空间分辨率，需要更多的计算资源，但对性能的贡献较小。基于这一观察结果，我们建议用并行局部解码器组件聚合高级特征。 

具体来说对于大小为h*w的输入图像，其具有5个层次的特征{,i=1,...5}，并且图像的分辨率也在下采样过程中不断减少。然后我们将特征分为低级特征{}和高级特征{，i=3,4,5}。我们引入了局部解码器Pd（），通过一个并行的连接来聚合高级特征。局部解码器通过PD=计算得到全局映射

反向注意模块

 全局映射来自最深的CNN层，它只能捕捉到相对粗略的息肉组织位置，没有结构细节。

为了解决这一问题本文通过消除前景对象的方式逐步挖掘息肉区域的详细结构信息。本文的网络结构没有像以往的U型编解码网络那样从所有层次聚合特征，而是自适应的学习三个并行高级特征的反向注意。换句话说，网络的体系结构可以通过从高级侧输出特征中删除现有估计的息肉区域，从而依次挖掘互补区域和细节，其中现有的估计是从较深层次的上采样。

具体来说，本文通过将高级侧输出特征 {，i=3,4,5}乘以反向注意权重Ai，得到输出反向注意特征

在计算机视觉领域[，反向注意权重Ai是显著目标检测的事实，可以表述为:

其中是从矩阵E中减去输入的反向操作。反向注意的擦除策略最终可以将不精确，粗糙的估计细化为精确完整的预测图。

损失函数

 本文的损失函数定义为其中和全局限制和局部限制的加权IoU损失和二元交叉熵损失。与分割任务中广泛采用的标准IoU损耗不同，加权IoU损耗通过增加困难像素的权重来突出其重要性。此外，与标准BCE损失相比，更关注困难像素，而不是给所有像素分配相同的权重。

本文对三个侧输出和全局映射采用深度监督，每个映射都被上采样到GroundTruth相同的大小因此总的损失函数可以定义为