UNet++: A Nested U-Net Architecture for Medical Image Segmentation

0.作者

来自Arizona State University QS 四十左右很强啊
不知道还有没有写的必要人家自己写了 嘤嘤嘤

1.贡献

我们在回来看这个UNet++，对于这个主体结构，我们在论文中给出了一些点评，说白了就是把原来空心的U-Net填满了，优势是可以抓取不同层次的特征，将它们通过特征叠加的方式整合，不同层次的特征，或者说不同大小的感受野，对于大小不一的目标对象的敏感度是不同的，比如，感受野大的特征，可以很容易的识别出大物体的，但是在实际分割中，大物体边缘信息和小物体本身是很容易被深层网络一次次的降采样和一次次升采样给弄丢的，这个时候就可能需要感受野小的特征来帮助。另一个解读就是如果你横着看其中一层的特征叠加过程，就像一个去年很火的DenseNet的结构，非常的巧合，原先的U-Net，横着看就很像是Residual的结构，这个就很有意思了，UNet++对于U-Net分割效果提升可能和DenseNet对于ResNet分类效果的提升，原因如出一辙，因此，在解读中我们也参考了Dense Connection的一些优势，比方说特征的再利用等等。
这些解读都是很直观的认识，其实在深度学习里面，某某结构效果优于某某结构的理由，或者你加这个操作比不加操作要好，很多时候是有玄学的味道在里头，也有大量的工作也在探索深度网络的可解释性。关于UNet++的主体结构，我不想花时间赘述了。

提出的第二个点就是可以针对性的进行减枝处理

① U-Net++的嵌套结构就相当对应小学（L1）、初中（L2）、高中（L3）、大学（L4）学的数学知识。每个结构都包含了更小的结构，比如大学（L4）包含了高中（L3），其实也包含了初中（L2）和小学（L1）
② 关于文中说的“剪枝”那部分，对于U-Net++训练中的反向传播，相当于你学到后面的知识会影响你前面学过的知识，比如在大学（L4）学的线性代数，会帮助你理解初中（L2）学了但是没学好的方程组；而当U-Net++进行测试的时候（即只有前向传播），因为L2和L4的精度差不多，但L4会花更多的时间，所以用L2就能解决问题。对应到前面的例子中就是对于求解多个未知数，可以只用 初中 的方程组就能搞定，无需用上 大学 线代中的矩阵知识了。所以，训练的时候不能剪枝，但预测的时候可以剪枝！
知乎作者LaLaLand

实话实说的相对于上述的说明过程 我还是比较喜欢减枝处理的相关描述（虽然也是玄学 雾） 但是给我的启发在于可以参考其针对部分用于移动化的参数，例如MobileNet之类类似的网络 不再是单独设计，而是传统网络进行减枝 甚至是减少卷积核的个数（雾）

2.模型

他和2018 CVPR oral UC Berkeley 提出的架构多了skip-connect,作者认为层级级联有利于统一语义信息，来更好的捕捉位置和内容。

Loss设计：

为每个语义尺度定义了一种混合分割损失，包括像素级交叉熵损失和Dice系数损失

感觉是比较有趣的点了：
模型剪枝
深度监督可对模型进行剪枝，UNet++可以以两种操作模式进行部署：

集成模式，其中收集所有分割分支的分割结果，然后取其平均值；
剪枝模式，其中仅从以下一种中选择分割输出：分割分支，其选择决定了模型修剪的程度和速度增益。