语义分割网络经典：FCN与SegNet
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达全文目录
1、FCN
概述
编码和解码过程
2、SegNet
概述：
特征上采样与融合细节
代码地址
将图像中每个像素分配到某个对象类别，相关模型要具有像素级的密集预测能力。
01
FCN
（一）概述
改编当前的分类网络：AlexNet、VGG、GoogLeNet到全卷积网络和通过微调传递它们学习的特征表达能力到分割任务中。然后定义了一个跳跃式的架构，结合来自深、粗层的语义信息和来自浅、细层的表征信息来产生准确和精细的分割。
由上图可以看出，将分类网络改成全卷积网络，生成了一个低分辨率的类的热图（图中的：tabby cat heatmap），上采样用双线性初始化的反卷积，并在上采样的每一个阶段通过融合（简单地相加）下采样阶段网络中的低层的更加粗糙但是分辨率更高的特征图进一步细化特征。
（二）特征上采样与融合细节
上图可以看出该算法采用了“融合层”策略（简单地相加），将高层特征和低层特征进行融合来提高分割性能，分别采用了3种不同的结构，第一种是32x upsampled ,第二种是16x upsampled，第三种是8x upsampled。
过程是这样的：
1、32x upsampled
原图经过不断的卷积和池化，得到pool5层的特征（比原图缩小了32倍），将pool5通过32倍的上采样（反向卷积）得到最后结果。但是pool5层的特征属于高层抽象特征，采样后得到的结果不够精细。
2、16x upsampled
将pool5的结果进行2倍上采样，与pool4相加，作为“融合”，然后将“融合”结果进行16倍的上采样（反向卷积）得到最后结果（注：融合是指对应位置像素值相加，后来的u-net则直接是通道上拼接）。
3、8x upsampled
将pool5的结果进行2倍上采样，与pool4相加，作为“融合”，然后将“融合”结果进行2倍的上采样,再与pool3的结果进行“融合”，之后进行八倍的上采样。
三种结构实验结果表明，将高层特征与低层特征的融合能够明显提高像素点的分类效果，如下图所示：
02
SegNet
（一）概述
上图可以看到segNet没有全连接的层。SegNet和FCN思路十分相似，不同之处在于解码器使用从编码器传输的最大池化索引（位置）对其输入进行非线性上采样，从而使得上采样不需要学习，生成稀疏特征映射。然后，使用可训练的卷积核进行卷积操作，生成密集的特征图。最后的解码器输出特征映射被送入soft-max分类器进行像素级分类。
上采样使用池化层索引的优势：
1）提升边缘刻画度；
2）减少训练的参数；
3）这种模式可包含到任何编码-解码网络中。
（2）编码和解码过程
SegNet在编码阶段进行pooling的时候会保留保存通过max选出的权值在2x2 filter中的相对位置，用于之后在解码器中使用那些存储的索引来对相应特征图进行去池化操作，如下图所示：
03
代码地址
网络结构部分的代码详见：
https://github.com/cswhshi/segmentation/blob/master/FCN.ipynb
https://github.com/cswhshi/segmentation/blob/master/SegNet.ipynb
欢迎大家指正和star~
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
