FCN网络详解

FCN论文详解

FCN算法Pytorch实现：https://github.com/codecat0/CV/tree/main/Semantic_Segmentation/FCN

1. 将全连接层替换为卷积层

语义分割的目的是对图像中每一个像素点进行分类，与普通的分类任务只输出图像某个类别不同，语义分割任务输出的是与输入图像大小相同的图像，输出图像的每个像素对应输入图像每个像素的类别，这也就是论文中提到的dense prediction。

FCN全卷积网络是图像分割开山之作，其核心思想非常简单，用卷积层代替分类网络中的全连接层。

用于分类的神经网络由卷积层、池化层和最后连接的全连接层组成，经过最后的全连接层后，二维的图像信息被映射为具体的一维类别信息进行输出，得到分类标签。

对于语义分割问题，我们需要的不是具体的类别标签，而是一个二维的分割图，FCN方法丢弃全连接层，并将其换成卷积层，最后输出与原图相同大小的分割图

论文作者认为：全连接层让目标的位置信息消失了，只保留了语义信息，而将全连接层更换为卷积层可以同时保留位置信息和语义信息

2. 上采样

由于经过多次卷积之后图像的大小会缩小，需要通过上采样对其进行尺寸大小的恢复，使最后的分割图与原图尺寸一样

2.1 反卷积

下图为stride=1、paddding=0的反卷积的工作过程

下图为stride=2、padding=1的反卷积的工作过程

根据卷积的尺寸计算公式
$$o=\frac{i-k+2\cdot p}{s}+1$$
得反卷积的尺寸就算公式为：
$$i=(o-1)\cdot s+k-2\cdot p$$

Pytorch实现：nn.ConvTranspose2d

2.2 插值

2.2.1 最近邻插值

计算P与Q11、Q12、Q22、Q21的距离，可知P与Q11最近，所以P像素点的值与Q11像素点的值一样

2.2.2 双线性插值

双线性插值就是做两次线性变换，先在X轴上做一次线性变换，求出每一行的R点
$$\begin{gathered} R_1=\frac{x_2-x}{x_2-x_1}{Q}_{11}+\frac{x-x_1}{x_2-x_1}{Q}_{21} \\ {R}_2=\frac{x_2-x}{x_2-x_1}{Q}_{12}+\frac{x-x_1}{x_2-x_1}{Q}_{22} \end{gathered}$$
再在Y轴上做一次线性变换，求该区域的P点
$$P=\frac{y_2-y}{y_2-y_1}{R}_1+\frac{y-y_1}{y_2-y_1}{R}_2$$

2.3 UpPooling

2.4 Upsample

3. 跳跃结构

如果直接用全卷积后的层进行上采样的话，得到的结果往往不够精细，所以本文中采取了跳级结构的方法，将更靠前的卷积层和经过上采样的层相结合，如下图所示：

采用这种方法，能够在保留全局特征的前提下，尽可能使得图像的划分更为精细