U-Net网络结构详解

U-Net网络结构详解

U-Net网络结构是对称的，由于网络结构像U型，所以被命名为U-Net。整体而言，U-Net是一个Encoder-Decoder（编码器-解码器）的结构，这一点是与FCN的结构相同。

该网络结构的左半部分是特征提取，右半部分是上采样。Encoder是由卷积和下采样组成，所用的卷积结构统一为33的卷积核，Unet的卷积都是valid卷积（而非same），这么做是为了，网络只使用输入图片的信息。如果会用same卷积，这样每次3x3卷积就不会改变特征图的尺寸了，最终上采样回来的尺寸就能够和输入一致了。但是，padding是会引入误差的，而且模型越深层得到的feature map抽象程度越高，受到padding的影响会呈累积效应。所以要将padding置为0；没有了padding所以每次卷积之后特征图的大小会减2。经过了四次池化，共有5个尺度，用于降低维度。
Decoder用于恢复特征图（feature map）的原始分辨率，除了卷积以外，这一部分最主要的就是上采样（upsample）与跳层连接（Skip connection）。上采样是用于恢复维度的。跳层连接是在上采样的过程中融合下采样过程中的特征图，融合的方式为concatent,按特征图通道数进行叠加。然后根据得到的特征图进行预测分割，在实际过程中，融合的特征图的尺寸可能不同，因此需要进行裁剪。最后一层用11的卷积做分类。