基于U-net++的肺部肿瘤图像分割和眼球视网膜分割

U-net++网络结构

结构图

结构特点

1、U-net++相当于将四个不同深度的U-net网络通过多个skip connection(跳跃连接)拼接在一起。这些跳跃连接包括短连接和长连接，短连接的作用是实现整个网络的反算，让训练得以进行，而保留长连接是因为它联系了输入图像的很多信息，有助于还原降采样所带来的信息损失；
2、在下采样过程中全部用的是卷积，上采样则用的是转置卷积，最终会在四个输出层输出四个特征图，相应得到四个损失加起来做优化。

结构改动

1、下采样加padding
不仅让输入图像大小=输出图片大小，还解决了跳跃连接时下采样特征图和上采样特征图尺寸不同的问题
2、加deep supervision(深度监督）
加深度监督的目的是为了让浅层的和深层的网络得到相同程度的训练，也就是让浅层网络的训练更加充分。
第一种方法

用同一个GT(梯度)去优化每层网络的输出，再将四个损失加起来做优化
第二种方法

每层网络的输出用concat连接起来，再通过一个卷积，得到输出，再对损失做优化
具体做法

在每一层网络的输出都接一个参数相同的1x1卷积，这样在每次前向运算时，每层网络都有相同的梯度
这样做的好处？
加深度监督后，浅层网络的输出也可以达到深层网络输出的效果，这样在测试的时候就可以将深层网络剪掉。而深层网络占据大量的参数，如果剪掉，将节省大量运算时间。

训练数据集下载

肺部肿瘤图像分割
Finding lungs in CT data
百度网盘：https://pan.baidu.com/s/1XxxGJcGrFmVviUvTU1hzdA
提取码：vyma

眼球视网膜分割
DRIVE
百度网盘：https://pan.baidu.com/s/1-7WSykidEnPN8kgklqm_5Q
提取码：xv12

网络训练

训练注意点：
1、网络输出通道设为1，一定要用Sigmoid激活
2、损失函数用BCEloss
3、采样时原图和标签都要toTensor()

效果展示

肺部肿瘤图像分割

在相同迭代轮数时，第一排为没有加深度监督，第二排为加了深度监督

眼球视网膜分割

在相同迭代轮数时，第一排为没有加深度监督，第二排为加了深度监督