FCN，FPN，UNet对比总结 2021-02-27

这篇文章对三个非常相似的图像分割模型进行一个总结对比，它们都是先下采样再上采样，并且把下采样过程中的浅层特征和上采样过程中，相应尺寸的高级特征融合起来的一个结构。这三个模型都使用的全卷积，第一个模型FCN，Fully Convolutional Neuralnetwork就以此为名，用1*1卷积核替代全连接，这样就不用考虑尺寸对应的问题了

2015 FCN

FCN用卷积代替全连接

FCN尝试了三种预测结构，第一种将最高级的特征直接进行32倍的上采样，16s和8s取用了更多层的浅层特征和上采样到同尺寸的高级特征图简单相加进行结合。这里的上采样方法用双线性插值作为初始值，但是参数是可学习的。

对比3次预测，和更多浅层信息结合的FCN-8s表现最好

把32s和16s去掉， 和下面的UNet是十分相似的

2015 U-Net

U-Net是针对细胞照片的图像分割设计的，其实和FCN十分相似，不过它在上采样的阶段的特征图拥有更多的通道数，因此网络结构更为对称成为一个U形。另外，FCN的上采样阶段对浅层和深层特征的融合使用的是简单相加，U-Net中是将两者拼接起来。
另外可以注意到U-Net中两边的矩阵尺寸是不一样的，这里预测的是一个388388的输出，但是输入有572572，下面的特征图也是下采样阶段的更大一些，拼接时，浅层特征图会被直接截取而不是resize，这是为了补偿下采样过程中丢失的一些细胞边界细节。如果预测区域在原图的边界，则使用镜像补全，提供一个更大的蓝色区域作为输入。

2015年U-Net，绿色操作上采样2*2卷积使通道数减半，然后再和下采样阶段的拼接起来，注意下采样阶段的特征图被crop了，这是因为每次卷积都有一些细胞边界像素的损失，所以相比起会丢失信息的resize，这里选择直接截取，接下图

可以直接截取不考虑边界信息的原因是，对于需要预测的黄色区域，会使用更大范围的蓝色区域信息，如果在边界就用镜像补充。

2016 FPN，总结对比

特征金字塔网络

FPN对多尺度的特征图都进行了独立的预测，结果取置信度最高的像素（图像分割任务）。这是他最大的特点，接下来我们就可以就几个方面一起看了。

结构上，三者都是对称的下采样再上采样的全卷积网络，
在上采样方式上，FCN和U-Net都是使用以双线性插值为初始值的反卷积，FPN最近邻上采样
在特征融合上，FCN将不同尺度的特征简单相加，U-Net将浅层特征截取后和高层特征拼接，而FPN是用1*1卷积处理浅层特征图再和高级特征相加。

参考博客：https://chadrick-kwag.net/fcn-unet-fpn-comparison/