BCNet论文总结
论文：Boundary Constraint Network With Cross LayerFeature Integration for Polyp Segmentation
目录
一、背景和出发点
二、创新点
三、BCNet具体实现
1. 跨层特征集成策略（CFIS）
2. 跨层特征交互模块（ACFIM）
（1）获得F3'
（2）获得F4'
（3）输出F1
3. 全局特征集成模块（GFIM）
4. 双边边界提取模块（BBEM）
一、背景和出发点
研究背景：大多数现有的基于CNNs的方法进行息肉分割效果往往不理想，作者希望通过增加边界约束，来提高息肉分割的精确度。
出发点：融合跨层上下文信息和利用边缘信息，以提高息肉分割的精确度。
主要工作：1. 跨层特征集成策略（CFIS） 2. 跨层特征交互模块（ACFIM） 3. 全局特征集成模块（GFIM） 4. 双边边界提取模块（BBEM）
研究成果：在三个公共数据集上的实验结果表明，所提出的BCNet在有效性和通用性方面都优于七种最先进的竞争方法。
二、创新点
1. 为了准确地分割息肉，考虑到息肉的挑战性特征，作者提出了一种新的深度网络（称为BCNet），重点是跨层特征集成和边界提取。
2. 提出了一种新的跨层特征融合策略（CFIS），该策略由ACFIM和GFIM组成。ACFIM自适应地桥接了前三个最高层的上下文信息。GFIM通过全局注意力引导跨层聚合融合的信息。提出的CFIS避免了简单的特征添加或集中带来的缺点，提高了分割性能。
3. 提出了一种新的边界提取模块BBEM。在高级位置特征和边界约束的帮助下，BBEM协同探索浅层的息肉和非息肉信息，并产生更好的分割性能。
4. 在三个公共数据集上进行的大量实验表明，我们的BCNet具有很高的有效性和通用性，并且优于为通用和特定目的设计的最先进的方法。
三、BCNet具体实现
BCNet总体架构如下所示：
RFB：是一种新的特征提取模块。它可以增大特征图的感受野。
参考博客：RFB（Receptive Field Block）。
对于一个输入图像 ，从骨干的卷积块中获得一组输出
，
，
，
，
，将，，，分别送入RFB中，提取其上下文信息
， 
，
和
。
1. 跨层特征集成策略（CFIS）
目的：融合前三层的上下文信息 ，获得息肉感知特征。
过程：CFIS获取最高的前三层的上下文信息 ，和作为息肉感知特征 
的输入和输出。首先，将，和用ACFIM融合，分别得到
，
和
。其次，将和分别馈入同一层的两个GFIM中，将输出相加生成 。
2. 跨层特征交互模块（ACFIM）
目的：通过应用注意力机制，将相邻层之间的上下文信息连接起来，自适应地选择和加强用于息肉分割的重要特征。因此需要获取
（提取前景特征）和
（提取背景特征），并将二者融合。
（1）获得
过程：首先，分别通过1×1卷积和reshape操作将 
转换为 
和 
，
的通道数由 
降为
，同时通过1×1卷积和reshape操作将
转换成
。得到Q，V1，K之后，将Q和K相乘再经过softmax处理，将得到的特征图再与V1进行相乘，再经过reshape操作还原回来原形状，与一个可学习的权重参数
相乘后，再与相加得到。
对应的算子公式：
其中，
= / 8 是Q和K的通道维数， = 
= 64，
= 
/8 和 
= 
/8 分别是的高度和重量。
是 的2倍空间上采样，为了与 进行尺寸匹配。 是一个可学习的权重参数。
是reshape操作，将特征投影为 
的大小。δ(·)表示Sigmoid函数，⊗表示矩阵乘法。
为转置运算。
不难看出，经过以上操作，经过训练最终可以学习到一个利于提取前景特征的权重参数
（2）获得
过程： 与获取 类似，分别通过1×1卷积和reshape操作将 ， 转化为Q，K，V2，然后Q与K相乘得到的特征图再经过revese操作得到
，与V2相乘，再经过reshape操作还原回来与相同的大小，再与一个可学习的权重参数
相乘，再与相加得到。
对应的算子公式：
其中， 是可学习的权重参数，
， 是reshape操作。 为reverse操作，其中，
是单位矩阵。
（3）输出
目的：可以协同学习重要特征和不重要特征，共同定位息肉预测。
算子公式：和进行相加操作。
Q：什么是上下文信息？
对象与场景之间的相互作用信息作为条件来对新目标进行识别、处理。
Q：为什么要对Q与K相乘得到的特征图，进行reverse处理？
reverse操作的作用：得益于reverse操作，
Conclusion
因为ACFIM的目的是获取上下文信息，因此通过获取
Difficult Problem：原文中给出的reverse操作的算子公式真的有效吗？
一个同等大小的单位矩阵减去Q与K相乘再经过sigmoid得到的特征图，从感官上来看应该不能达到上图的效果吧？？这个问题只能等待源码开源了。
3. 全局特征集成模块（GFIM）
目的：ACFIM模块通过提取上下文信息，完成了对息肉分割位置的定位，但是分割性能不理想，因此为了进一步提高分割性能，引入GFIM提取全局信息。
补充：1. GFIM模块根据使用不同池化方式分为GFIM max和GFIM avg。目的是为了提高特征表达。
2. GFIM模块是通道注意力模块。过程类似SE模块。
过程：GFIM模块有两个支路，输入从上到下依次为F1和F3。首先，使用两个3×3卷积来处理每个分支的输入，用于局部调整特征。然后，在较低的分支中使用全局最大池化(GMP)/全局平均池化(GAP)，来压缩全局信息，再通过一组全连接层+ReLU、全连接层+Sigmoid，最终得到
。接下来， 上分支卷积所得结果，通过与 
相乘来细化上分支的局部特征，得到
，最后，再进行一次两个3×3卷积并与相加，得到
。对应的算子公式如下：
其中，
表示全局最大池化，
表示两次3×3卷积，
是元素乘法。
，
。同样，GFIMavg的输出
，将上述步骤中全局最大池化替换为全局平均池化即可得到。
注意：通道注意力向量
4. 双边边界提取模块（BBEM）
四、DWT与池化运算和膨胀卷积相关性证明
五、DWT、IWT代码实现
六、实验
七、总结