全连接卷积神经网络FCN语义分割原理

预备知识：

1、图片由像素构成，像素用数字表示即一张黑白图片可以看作一个二维矩阵。
2、所有的颜色都是由红黄蓝这三个颜色融合而来，用0~255之间的数字表示。因此彩色图片中的每个像素点有三个颜色分量，即彩色图像是一个三维矩阵。
3、彩色图片的卷积操作如下图所示：

对红黄蓝矩阵分别进行卷积，对应位置点相加变成一个一维矩阵

4、一个卷积核得到一个特征图（一组特征），一个卷积层有多个卷积核（多组特征比如点线面）
5、池化操作如下：（学习主要特征的同时降维）

6、FCN上采样是一个反卷积，主要作用是将局部特征图放大，例如输入22的特征图输出44的特征图。具体操作如下：

先对特征图进行0填充后卷积

FCN网络结构

Conv:卷积层 pool池化层（降维） upsampled prediction：上采样（反卷积）
FCN-32s:经过5次池化层，图像长宽缩小了32倍，5次池化以后，conv层6和conv7层通过填充0进行卷积因此没有改变pool5后的图片大小。最后将conv7的图用32步长的反卷积将图片还原到原图大小。
这样做导致损失信息过多的信息，结果不够精细，为了解决此问题，作者引入了跳级连接的策略(FCN-16s和FCN-8s)。
FCN-16s:将conv7先反卷积放大2倍（原图长宽的1/16），然后和4层池化的结果（也是原图长宽的1/16）结合起来，再反卷积放大16倍，变成原图相同大小。

FCN-8s：将conv7后的图，反卷积放大4倍；池化层4后的图，反卷积放大两倍；将放大后的两个图与池化层3后的图结合在一起，再反卷积方法8倍，变成原图相同大小。

参考：
http://www.omegaxyz.com/2018/08/14/cnn2-rgb/
https://blog.csdn.net/attitude_yu/article/details/84697181