FCN全卷积神经网络

目录

前言

一、FCN的意义

二、先验知识

1.FCN-32S,FCN-16S,FCN-8S

         2.上采样,下采样 

3.大体网络结构

4.与传统网络(带全连接层的网络)区别

5.传统网络VGG网络结构

 三、FCN网络结构解析

1.FCN-32S

2.FCN-16S

3.FCN-8S

!!!重要:FCN-16S和FCN-8S,都融合了相对底层的特征图信息

4.损失计算

总结


前言

随着人工智能的不断发展,深度学习这门技术也越来越重要,很多人都开启了学习深度学习,本文就介绍了深度学习图像分割的典型网络FCN的基础内容。

一、FCN的意义

意义:首个端到端(end to end)的针对像素级预测的全卷积网络

           是深度学习图像分割领域的开山之作

二、先验知识

1.FCN-32S,FCN-16S,FCN-8S

FCN全卷积神经网络_第1张图片

这些都是FCN网络模型,不同之处在于后面的数字,他们代表对预测结果上采样的倍数

例如:FCN-32S代表对于预测结果进行32倍的上采样还原到原图大小 

2.上采样,下采样 

上采样(upsampling):又名放大图像、图像插值

上采样有3种常见的方法:双线性插值(bilinear),反卷积(Transposed Convolution),反池化(Unpooling);

下采样(subsampled):又名降采样、缩小图像;

其实下采样就是池化;

3.大体网络结构

FCN全卷积神经网络_第2张图片


 4.与传统网络(带全连接层的网络)区别

FCN全卷积神经网络_第3张图片

     4.1 全连接如何转变为卷积层

FCN全卷积神经网络_第4张图片

 5.传统网络VGG网络结构

FCN全卷积神经网络_第5张图片

 三、FCN网络结构解析

1.FCN-32S

FCN全卷积神经网络_第6张图片

这里有几点需要注意:
1.VGG Backbone就是图中上方画圈的部分,可以看到,原来224*224的被变为7*7,尺寸大小除以了32 ,所以从VGG Backbone输出的就是h/32,w/32

2.从VGG Backbone到FC7部分,用的都是VGG网络的权重参数,仅在后面增加了一个1*1大小的卷积层和转置卷积用于调整通道数和上采样恢复特征图大小

2.FCN-16S

FCN全卷积神经网络_第7张图片

可以看出来,前面部分与FCN-32S差别不大,区别就在于FCN-16S融合了MaxPooling4的特征图信息 

3.FCN-8S

FCN全卷积神经网络_第8张图片

可以看出来,前面部分与FCN-32S差别不大,区别就在于FCN-8S融合了MaxPooling4和  MaxPooling3的特征图信息 

!!!重要:FCN-16S和FCN-8S,都融合了相对底层的特征图信息

4.损失计算

FCN全卷积神经网络_第9张图片

对每个pixel在channel方向进行softmax处理,得到每一个类别的概率,与true label计算交叉熵损失,最后求平均,就可以得到整个网络最终的损失

总结

FCN是深度学习分割的最基本网络,后来的网络基本思想和其相似(先下采样再上采样最终得到分割结果),当然也有很多改进,不过本人认为和FCN没有本质的区别,理解了FCN就理解了深度学习分割的精髓

你可能感兴趣的:(深度学习,计算机视觉,神经网络,图像处理)