nnU-Net论文解读

写在前面

你好！ 这是你第一次阅读我的博客。我也是第一次写博客。对于论文nnU-Net的一点理解。希望对读者有所帮助，同时也可交流得到新的见解和思路。

nnU-Net

论文的全称是“nnU-Net:Self-adapting Framework for U-Net-Based Medical Image Segmentation”，点击查看原文, 出版时间是2018年9月，在arXiv上下载¹。论文的主要结构为：

1. Abstract 摘要部分；
2. Introduction 引言部分；
3. Methods 方法部分；
4. Experiments and Results 实验和结果部分；
5. Discussion 讨论部分；
6. Reference 参考文献部分

Abstract 摘要部分

摘要中给出了3个关键词，Semantic Segmentation, Medical Imaging, U-Net。足以说明该文章并没有提出新奇的网络或者是损失函数等方法。

Introduction 引言部分

在引言中，一共由3个段落组成。
第一段，宏观地介绍了CNN及其影响力，以及一个The Medical Segmentation Decathlon挑战赛。
第二段，证明了图像分割中的除了所用的框架以外的细节同样是对结果影响很大的，但同时又是被低估的。
第三段，所以作者提出了nn U-Net(no-new-Net),因为不是新的深度神经网络，所以他们从其他方面做了小的修改。

Methods 方法部分

Network architectures

在这一小节中，介绍了3种神经网络。分别是2D U-Net, 3D U-Net, U-Net Cascade。以及后面介绍了如何动态的适应网络拓扑。

• 2D U-Net 表面上2D U-Net分割3D图像效果不好，但也有人证明了3D分割对某种数据效果也不好。
• 3D U-Net 3D U-Net分割理想中效果不错，但是鉴于GPU内存的限制，不得不减小patch（因为3D的分割是基于patch的），从而减小了感受野（field of view）。
• U-Net Cascade 所以作者提出了U-Net级联来解决3D U-Net在分割大图像师遇到的问题。
  
• Dynamic adaption of network topologies 由于不同的数据集大小是不一样的，所以作者针对不同的数据集的尺寸去动态地调整batch-size（批处理地数量），patch size，pool 次数。

Preprocessing

为了更好地学到数据的特征，作者对数据进行了预处理。包括Cropping，Resampling，Normalization。

• Cropping 对数据进行裁割，只剩下非零值；
• Resampling 对数据进行重采样；
• Normalization 对数据进行正则化。

Training Procedure

在训练的过程中，作者使用了5折的交叉验证，损失函数使用了交叉熵和DICE，优化函数使用了Adam，激活函数使用了Leaky ReLU。同时使用了

• Data Augmentation，数据增强；
• Patch Sampling，其中Patch采样是在一个batch中至少要有1/3的前景类被随机选中，作者说这样能增加网络训练的稳定性。

Inference

这个词经常见到，翻译成推理比较合适。这一小节有两小段。

• 第一段 作者增加了体素中心的权重，因为patch的边缘的准确率是下降的；
• 第二段 作者把交叉验证的每个模型聚合在一起，增加模型的鲁棒性。

Postprocessing

在这一小节中，只有3句话。作者对数据进行了后处理。对不起，这一部分不理解。

Ensembling and Submission

在这一小节中，只有2句话。作者对模型进行整合和提交。

Experiments and Results 实验和结果部分

这一部分比较简短，对结果做成了表格，去分析不同数据集不同网络下的metric，即评价指标。

Discussion 讨论部分

这一部分对作者的工作做出了总结和展望。

• 总结
  • 该网络可以动态地适应各种数据；
  • 非框架的修改，效果很好；
  • 交叉验证，从中模型择优提交到挑战赛中；
• 展望
  • 对于激活函数的选择，数据增强的使用，作者没有验证他们的功效，将来要进行ablation studies，即控制变量法；
  • 作者还承认了对最优模型的选择（即2D U-Net，3D U-Net，U-Net Cascade）不是最干净的，假以时日，也许会探索出一个最好的模型。

以上是本人对这篇文章的初步解读，欢迎交流意见！

---

1. arXiv网址 ↩︎