【论文阅读一】Boundary-Aware Fully Convolutional Network for Brain Tumor Segmentation

写在前面：在阅读论文的时候，会遇到许多未接触过的知识，博主希望能记录学习这些知识的过程。并在学习了这些知识的基础上，阐述对论文的理解。

一、前言

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-66185-8_49#Fig5
　　 推荐：在阅读上篇论文前最好能阅读一下原作者的另一篇论文
　　Efficient symmetry-driven fully convolutional network for multimodal brain tumor segmentation，因为作者在Boundary-Aware FCN论文中提到的很多知识是与此篇论文相关，阅读上篇能够加深对论文的理解（只有5页哦）。
　　
　　论文阅读二（也是论文阅读系列）:https://blog.csdn.net/Fan_shui/article/details/82982477
　　
　　 论文翻译：https://blog.csdn.net/qq_29184757/article/details/78369299
　　 论文阅读：https://www.cnblogs.com/xiangfeidemengzhu/p/7519767.html

二、基础知识

快速浏览了上面两篇文章对论文的理解，里面有讲到此论文是关于脑瘤自动分割，其中涉及到很多基础知识：
　2.1、FCN
　2.2、VGG-16
　　　参考：https://blog.csdn.net/app_12062011/article/details/62886113
　
　 　我们常说的VGG16指的是上面的D模型，上面的11weight layers中的11 指的是8个卷积层加上3个全连接层。VGG模型中有5个卷积块，每个卷积块中有2~3个卷积层。
　 　理解上述参考文章中所说的2个33卷积层相当于1个55的卷积层：
　 　假如有一张2828大小的图片，一个33的fliter，在stride=1且无填充的时候，卷积后图片的大小应该是28+（-3+1）=26，两次卷积后的大小应该是28+（-3+1）2=24，相当于每次卷积后大小减小两个像素，两次卷积后减小的是22=4，那么相当于一个55的fliter做了一次卷积运算，因为28+（-5+1）=24。也即一个像素会跟周围55的像素产生关联，可以说感受？大小为55.同理3个33的fliter做完卷积后大小为22，相当于一个7*7的fliter做了一次卷积运算。相比之下，比较小的fliter不仅使得参数更少，而且还增加了更多的非线性变换，比如可以添加三个Relu，使得CNN能够提取更高维的特征。
　 　但是 VGG 巨大的进展是通过依次采用多个 3×3 卷积，能够模仿出更大的感受野（receptive field）的效果，例如 5×5 与 7×7。
　2.3、batch normalization
　2.4、label smooth
　2.5、cross validation
　
　医学里面的小知识：
　论文figure1中的flair,t1,t1c,t2
　　　T1观察解剖结构较好,T2显示组织病变较好。在T2中，比较亮的地方可能是出现病变（因为T2信号跟水含量相关，而很多病变都伴随组织水肿）。
　
　2.8、Dice相似性系数
DICE是一种距离度量
　 https://www.biaodianfu.com/dice-coefficient.html

三、正式开始

3.1、讲的啥
　　顾名思义，本篇论文讲解的是用基于边界感知的FCN用于大脑肿瘤分割。
　　
　　3.2、网络架构
　　
　　在看新模型之前，让我们先看看之前的varint FCN（一个作者提出的）
　　
　　这个模型我已经在论文阅读二中详细阐述过。其实这个模型在脑瘤分割已经做的挺好的，为什么作者还要提出新的FCN用于脑瘤分割呢？
　　那是因为它在边界分割上做的不够好，不能准确地进行边界分割。为什么呢？我们知道，恶性肿瘤的边界周围是非常模糊的，不是清晰的边界，它们的像素很相似，虽然上述variant FCN有三个上采样路径用于重建脑瘤边界细节信息，但是在我们进行第一次卷积操作的时候，肿瘤边界周围相邻的像素会在feature map上就会得到相似的值。这使得我们没有很好的提取出边界信息，甚至于让边界信息消失在我们的卷积过程中。（以下是作者原话）
　　The above FCN can already produce good probability maps of tumor tissues. However, it remains a challenge to precisely segment boundaries due to ambiguity in discriminating pixels around boundaries. This ambiguity arises partly because convolution operators even at the first convolutional layer lead to similar values in feature maps for those neighboring voxels around tumor boundaries.
　
　　Boundary-Aware FCN
　　
　　可以看出来，我们不再是把segmentation task视为单一的像素分类问题，而是形成了一个多任务的学习框架。
　　输入图像后，首先是共享一个下采样路径，然后有两个不同的上采样分支，一个用于边界分类，是二分类（是边界或者不是边界）。另外一个用于Region Task（肿瘤组织分类，即水肿，坏死，增强，非增强，其它区域），是个五分类。
　　然后把两个分支的输出相联系，进行两次卷积操作，再紧跟着最后的softmax classfication layer(即上图的combination stage)。
　　文中有一句话没有理解：This combination stage is trained with the same objective as the ‘region task’. 我想的是我们在训练模型的时候是通过降低我们的cost function，而combination layer得损失函数L_f是综合考虑了来自Region task的组织信息和Boundary task的边界信息。
　　
　　损失函数：交叉熵
　　
　　L_t代表了每一个阶段的损失函数，有三个阶段（图上有标）
　　n代表第n张图片
　　i代表第i个像素
　　Xn,i代表第n张图片的第i个像素
　　P_t代表Xn,i属于l_t class的概率

3.3 评估
　　数据集：BRATS13 和BRATS15
　　三个子任务：
　　（1）the complete tumor (including all four tumor structures)
　　（2）the tumour core (including all tumor structures except edema)
　　（3）the enhancing tumor region (including only the enhancing tumor structure)
　　3.3.1 BRATS15数据集上的结果
　　
　　三个models : FCN , FCN+CRF, Boundary-Aware FCN上做比较
　　
　　上图是在complete tumor的表现，可看出boundary-aware FCN表现的比FCN好，平均提高了1.1%，在tumor core 和enhancing tumor上没有明显变化。
　　
　　在Dice和Sensitivity上boundary-aware FCN表现的比另外两个模式好，但是在positive predictive 上没有。
　　
　　上图讲的是像素分类的错误率,这个像素指的是边界周围的一个窄带的像素，横轴表示的是窄带的宽带。可以看出boundary-aware FCN表现的最好。
　　
　　
　　上图讲的是FCN与boundary-aware FCN在complete tumor的分割效果，作者提到可以看出来boundary-aware FCN 可以消除假阳性和假阴性。（怎么消除的我还没有看出来，我问了朋友，他说这个图跟医学方面治疗关系不大，但是我觉得应该是很有关系，有小伙伴明白了告诉我一声哦，我非常好奇）
　　后面作者还讲了一些本文网络模型在数据集上测试效果与其它算法的比较，还有计算量与其它算法的比较。
　　3.3.2BRATS13数据集上的结果
　　
　　
　　上图c和d是在BRATS13上的表现，从a和c可以看出来，大致趋势是相同的，b和d的大致趋势也是相同的，不同的是加上CRF并没有什么明显的提过，所以作者在图d中没有画出FCN+CRF，同时也可以看出来Boundary-aware FCN的鲁棒性。
　　
　　最后总结了一下，本文提出的网络架构能够同时学习边界任务和区域任务，在BRATS13和BRATS15数据集上比FCN和FCN+CRF能更好的处理边界分割问题。