[论文阅读] Revisiting Feature Propagation and Aggregation in Polyp Segmentation

[论文地址] [代码] [MICCAI 23]

---

Abstract

息肉的准确分割是筛查过程中有效诊断结直肠癌的关键步骤。 由于能够有效捕获多尺度上下文信息，普遍采用类似UNet 的编码器-解码器框架。 然而，两个主要限制阻碍了网络实现有效的特征传播和聚合。 首先，跳跃连接仅将单个尺度特征传输到解码器，这可能导致特征表示有限。 其次，特征在没有任何信息过滤器的情况下被传输，这对于在解码器处执行特征融合来说效率低下。 为了解决这些限制，我们提出了一种新颖的特征增强网络，它利用特征传播增强和特征聚合增强模块来实现更有效的特征融合和多尺度特征传播。 具体来说，特征传播增强模块将所有编码器提取的特征图从编码器传输到解码器，而特征聚合增强模块则与门机制进行特征融合，从而实现更有效的信息过滤。 多尺度特征聚合模块为解码器提供丰富的多尺度语义信息，进一步增强网络的性能。 对五个数据集的广泛评估证明了我们方法的有效性，特别是在 CVC-ColonDB 和 ETIS 等具有挑战性的数据集上，在 mIoU,mDice方面，它可以显着优于(3%)之前最先进的模型。

---

Introduction

现有息肉分割网络特征传播与聚合的效果还不够好。具体针对Skip Conntection操作而言：

• Skip Conntection(通常)只在同一个尺度进行，例如，直接将Encoder Block3的特征传到Decoder Block3，没有进行多尺度处理
• Skip Conntection没有进行过滤(Attention操作)，可能会带来噪声

针对以上两个问题，本文在U-Net的框架上进行了改进，对Skip Conntection过程进行了优化，如下所示：

具体来说，引入了一个FPE(Feature Propagation Enhancement)模块，其在Skip Conntection过程引入了多尺度的信息(Aggregation)以及特征增强(Enhancement)。此外，U-Net原有的解码器块也替换成了本文所提出的FAE(Feature Aggregation Enhancement)模块。

---

Network

---

FPE & FAE & MSA