FCN（Fully Convolutional Network）与Unet：谈到语义分割不得不提的两个网络

转载请注明出处：https://blog.csdn.net/wyzjack47/article/details/81107980

语义分割经典之作：FCN（Fully Convolutional Network）

参考论文：Fully Convolutional Networks for Semantic Segmentation. Jonathan Long ,Evan Shelhamer ,Trevor Darrell

FCN毫无疑问是语义分割领域的经典之作，在FCN出现之前，传统的CNN分割是将像素周围一个小区域作为CNN输入，做训练和预测，这样低效且不准确（忽略整体信息）。CNN主要有三点创新：

• 卷积化：即将传统CNN结构（文中提到的Alexnet、VGG）最后的全连接层改成卷积层，以便进行直接分割，这是十分有创造性的。
• 上采样：由于网络过程中进行了一系列下采样，使得特征层大小减小，了最后得到的预测层和原图一致，需要采用上采样，作用类似于反卷积。
• 并联跳跃结构：想法类似于resnet和inception，在进行分类预测时利用多层信息，具体如下图：

 

Unet:医学影像分割的基石

参考论文：U-Net: Convolutional Networks for Biomedical Image Segmentation. Olaf Ronneberger, Philipp Fischer, and Thomas Brox

我翻阅很多医学影像分割的论文，大部分都以Unet为基础进行改良，可见其重要性。而Unet是在FCN的基础上进行改良的，其网络结构如下：

   可见，Unet 包括左边的收缩路径和右边的扩张路径。收缩路径就是经结构，包括几个 3 × 3 的卷积加 RELU 激活层再加 2 × 2maxpooling 的结构(stride :2) ，下采样的每一步特征通道数都增加一倍。扩张路径的每一步包括上采样、 2 × 2 卷积（减少一半通道数），和相应收缩路径中的剪裁过的特征层的串联以及两个 3 × 3 卷积加 RELU 。最后一层用了 1 × 1 卷积把64个通道
映射到想要的类别种类数。

  这篇论文中优化用的是SGD with momentum, 能量函数十分有趣，用了加权的交叉熵形式，而不是通常的平均形式：

 其中

即像素点形式的softmax。

其中 w(x) 表示训练构成中像素点的重要性，越重要权重越大。由于分割问题边界处的分割一直是难题，因此本文赋予边界处更高的权重以达到精确分割：

上式 d 1 表示此像素点到离他最近的cell的边界的距离，d 2 表示此像素点到离他第二近的cell的边界的距离。这样离边界越近的像素点权重越大，因而也会被着重训练。此举取得了很好的效果，这个idea也可谓让人拍案叫绝。