DeepMedic —— 一种经典的医学图像分割的3D CNN框架

文章来源：Kamnitsas K, Ledig C, Newcombe V F J, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J]. Medical image analysis, 2017, 36: 61-78.

医学图像分割领域的最经典的分割网络之一，可能有些读者读完之后会有所抱怨：大部分和FCN网络或者DeepLab V1网络非常类似。但是在针对于文章的目标：脑部损伤分割，传统的图像分割算法效果不佳，然后作者提出了一些针对于当前医学图像问题的改进策略，从而达到更加state-of-art的分割结果。

1. 创新点
   通读全文，下面是我所认为的几个创新点：
   dense training 的方式。 （1）采用 全卷积操作的方式，一次对多个邻接的像素点做出 dense prediction，从而三维节省计算代价。（2）能够处理医学分割问题中经常遇到的类不均衡问题。
   multi-scale 方法。采用dual CNN网络平行构架同时处理高/低分辨率的图像，文中解释这样也是一种在感受野和feature分辨率中均衡的一种方式（感觉着实有些勉强…）。
   3D FC-CRFs 将soft-segementation改善边缘细节信息（这点也是比较牵强…）。

2. Dense inference + Dense training

在传统的patch-wise分类任务中，输入的patch的尺寸和最后一层神经元的感受野相同，即得到的单个输出对应于patch中心像素点的分类结果。然而通过将全连接层替换成卷积层，就可以输入大于感受野的patch并得到 dense-inference，即一次性处理多个邻接的像素并得到逐项素的输出。 —— 这也是FCN中采用全卷积网络的本意。

然而由于通常医学图像是一个三维体数据，将整个体数据一次性输入到网络中得到dense-inference并不现实。所以作者在individual patch和整个图像的dense-inference中引入一种中间策略：即采用大于感受野大小的patch在得到dense-inference结果的同时不会造成太大的内存消耗。
而且采用这样的方法能够有效的解决分割中像素类分布不均衡的问题——从training set的前景区域和背景区域以50%的相同概率采样patch。由于patch信息本身就含有内在的样本分布信息，得到的结果能够在sensitivity和specificity之间取得平衡

3 . 建立更深的网络 —— 采用更小的卷积核 + Res-Block 结构 + Batch Norm 方法

4 . Multi-scale 平行CNN构架

还是一直提到的多尺度的图像分割的问题，如何同时利用局部和相对大范围的图像信息？

上图中有两个通道：正常图像分辨率通道和低分辨率通道，这两个通道对应的输出感受野对应于不同分辨率的输入都是相同的17*17。假设低分辨率对应的图像采样率为F，则在设计网络输出的时候要确保上面通道的感受野shift F个单位等价于下面通道感受野shift 1个单位。所以可以对应设计两个通道的最后一个卷积层大小——注意分析最后一个卷积层的位置对应关系。

这样的dual构架，能够保证正常分辨率通道中能够提取出很好的细节信息（局部信息），在低分辨率通道中能够保持较好的 high-level 信息（相对大范围信息）。因此能够使得分割信息的精确和定位信息的准确。

5 . 3D FC-CRFs 进行空间正则化
这部分的内容可以参照博主之前的博客，这样的处理对分割输出的改善起到了很好的作用。

总结
总体来说，文章对于处理医学图像中遇到的问题有了很好的应对，进而对网络有了一些小小的改进。总体来说，我认为我长最精彩的部分在于如何用 dense-training 方式解决医学图像中分割目标常常很小的类分布不平均的挑战。而且提出的dual平行网络构架也是多尺度分割的一种可以考虑的方式，不过略显笨重（对于不同的分辨率都要重新训练-预测），其显然不如R-CNN系列的多尺度策略来的更有效率。