FCN原理浅析

FCN全卷积网络和CNN网络十分相似，主要区别在于取消全连接层并以卷积层的方式进行替代，最终输出heat map而不是feature map。本文选取AlexNet作为典型的CNN并将其转换为FCN以分析思路，AlexNet有五个卷积层、三个池化层和三个全连接层构成。在由CNN改造为FCN的过程中，CNN的卷积层保持不变，全连接层则是去除放置等效的卷积层或根据需求设计新的卷积层，这里的网络结构参考原论文数据集则是选择PASCAL VOC 2007（其中图片中含有20类物体，分类时包含bg共21类）（论文：Fully Convolutional Networks for semantic Segmentation，存在多个版本，后续或可能进行区别分析）

AlexNet的fc被去除，作为替代的是三个卷积层进行计算，其中前两个卷积层的作用是对图像特征的进一步提取，而最后一层则是对最终heat map上的每一个像素点进行分类的预测。最为简单的方法可以在此处直接根据分类结果进行反卷积得到和输入图片一样尺寸的分割图片，但分割效果较为粗糙。
FCN的另一种实现则是由五层卷积层和池化层交替构成，最终由6,7两层卷积层进行特征的最终提取得到heat map，再额外添加分类的卷积层，用分类结果进行反卷积。由于只利用最后一层的反卷积效果较为粗糙，可以采用多层结果进行结合以增强对细节的处理获得更好的效果。
以下是利用VGG16进行特征提取，再进行对称的反卷积操作处理的结果：

由于FCN的最后一层属于分类问题，对于每个像素点都将进行损失函数的计算（softmax loss）并求和以作为损失函数的结果。