【语义分割】U-Net: Convolutional Networks for Biomedical Image Segmentation

简介：

U-net 是基于FCN的一个语义分割网络修改的，适合用来做医学图像的分割。论文出现在2015年，在U-Net结构中，包括一个捕获上下文信息的收缩路径和一个允许精确定位的对称拓展路径。

本文的创新点：

1. 提出了U-net这种网络结构。它同时具备捕捉上下文信息的收缩路径和允许精确定位的对称扩展路径，并且与FCN相比，U-net的上采样过程依然有大量的通道，这使得网络将上下文信息向更高层分辨率传播。
2. Overlap-tile 策略，这种方法用于补全输入图像的上下信息，可以解决由于现存不足造成的图像输入的问题。
3. 使用随机弹性变形进行数据增强。
4. 使用加权损失。预先计算权重图，一方面补偿了训练数据每类像素的不同频率，另一方面是网络更注重学习相互接触的细胞间边缘。

网络架构：

 U-net网络非常简单，前半部分作用是特征提取，后半部分是上采样。在上图中，每一个蓝色块表示一个多通道特征图，特征图的通道数标记在顶部，X-Y尺寸设置在块的左下边缘。不同颜色的箭头代表不同的操作。图的左半部分是收缩路径，右半部分是扩展路径。

1. 特征提取部分，每经过一个池化层就一个尺度，包括原图尺度一共有5个尺度。

2. 上采样部分，每上采样一次，就和特征提取部分对应的通道数相同尺度融合，但是融合之前要将其crop。这里的融合也是拼接。

FCN与U-net的区别：

1.U-net采用了完全不同的特征融合方式：拼接，U-net采用将特征在channel维度拼接在一起，形成更厚的特征。而FCN融合时使用的对应点相加，并不形成更厚的特征。

2. 5个pooling layer实现了网络对图像特征的多尺度特征识别。

3. 可以看到上图的网络中有四次融合过程，相对应的FCN网络只在最后一层进行融合

图片输入输出大小问题（Overlap-tile策略）：

针对任意大小的输入图像的无缝分割的 Overlap-tile 策略。如果我们要预测黄色框内区域（即对黄色的内的细胞进行分割，获取它们的边缘），需要将蓝色框内部分作为输入，如果换色区域在输入图像的边缘的话，那么缺失的数据使用镜像进行补充。

训练：

 数据增强：

数据增强在训练样本比较少的时候,能够让神经网络学习一些不变性，弹性变换是本文使用的方法。（因为弹性形变是实际细胞中比较常见的一种形变，如果我们能采取数据增强的算法去使网络学习这种形变的不变性，就可以在分割数据集很小的情况下，使网络具有遇见弹性形变还是可以准确的检测出，相当于就是把原图，做了下弹性变形，然后，就相当于扩大了数据集嘛，自然网络就能适应这种弹性变化了，在遇见弹性变形的时候一样可以正确的分类分割）。在收缩路径的末尾的drop-out层进一步暗示了数据增强。