【论文阅读笔记】Uncertainty quantification and attention-aware fusion guided multi-modal MR brain tumor segm

Zhou T, Zhu S. Uncertainty quantification and attention-aware fusion guided multi-modal MR brain tumor segmentation[J]. Computers in Biology and Medicine, 2023: 107142.

本文与“Feature fusion and latent feature learning guided brain tumor segmentation and missing modality recovery network”（解读）是同一作者，论文均是是杭州师范大学国家自然科学基金青年项目“深度学习指导下的缺失核磁共振模态图像的脑肿瘤分割与复发位置预测研究”支持研究，批准年份2022，项目编号：62206084。

一.论文核心思想概述

本文的核心思想是提出一种多模态MRI脑肿瘤分割方法，该方法结合了不确定性量化和注意力机制。通过应用基于贝叶斯模型的不确定性量化，将不确定性信息与输入的MR模态结合，然后将其用于深度学习网络以优化分割结果。此外，文中还介绍了一种注意力感知融合方法，用于融合多个MR模态的信息以提高分割性能。实验结果表明，不确定性量化可以提高分割准确性，并且这些组件可以轻松应用于其他网络结构和计算机视觉领域。

二.文章方法提出的背景

在本文的Introduction部分，提出了Uncertainty Quantification（不确定性量化）的背景：由于固有的不确定性，如MRI的低对比度或不同专家之间的注释的变化，医学分割问题往往是模糊的。不确定性量化的核心思想是量化模型对预测的不确定性，这在医学图像分割中尤为重要，因为不确定性信息可以帮助医生更好地理解模型的可信度。之前的应用方法通常包括了两种类型的不确定性量化：aleatoric uncertainty（随机不确定性）和epistemic uncertainty（认知不确定性）。

1. 随机不确定性（aleatoric uncertainty）：这种不确定性通常涉及到数据中的随机性和噪声。在脑肿瘤分割中，它可以用来描述图像中的噪声水平以及由于图像采集过程中的变化而导致的不确定性。随机不确定性的量化可以帮助模型更好地理解图像数据的不确定性来源。
2. 认知不确定性（epistemic uncertainty）：这种不确定性通常涉及到模型自身的不确定性，例如模型对未见数据的泛化能力。在脑肿瘤分割中，认知不确定性的量化可以用来估计模型对不同类型的肿瘤和不同图像特征的理解程度，这有助于识别模型在分割任务中可能出现错误的区域。

三.网络结构

网络整体结构为先使用3D Unet预分割，然后在分割的基础进行不确定性量化，产生Uncertainty Map,然后以此增加监督，进行第二阶段的精确分割。预分割不再赘述，就是常见的3D CNN。

• Uncertainty quantification：这是本文主要创新点

  • 本文使用的是Monte Carlo (MC) Dropout，该方法是一种利用蒙特卡洛方法来估计神经网络不确定性的技术。在深度学习中，Dropout 是一种正则化技巧，它在训练过程中随机地将神经元的输出置零，以防止模型对训练数据过拟合。MC Dropout 利用了这一特性来估计模型的不确定性。MC Dropout 的基本思想是，在训练好的带有 Dropout 层的神经网络上，进行多次前向传播，每次都随机地启用或禁用 Dropout。通过多次前向传播得到的不同预测结果，可以用来估计输出的分布，从而获得关于预测的不确定性信息。

    具体步骤如下：

    1. 将训练好的神经网络模型应用到测试数据，启用 Dropout 层。
    2. 对测试数据进行多次前向传播，每次都以不同的 Dropout 配置进行。
    3. 收集每次前向传播的输出结果。
    4. 通过这些输出结果，计算均值和标准差，得到模型对每个预测的不确定性估计。

  • 本文中公式1是对采用的不确定量化的定义：这里展开说明一下

    $\begin{array}{c}{\mathrm{Var}}_{p(y\mid x,D)}(y)={\int }_{\Omega }{\mathrm{Var}}_{p(y\mid x,D)}(y)p(\omega \mid D)d\omega +\\ {\int }_{\Omega }{\left\{E_{p(y\mid x,\omega )}(y)-E_{p(y\mid x,D)}(y)\right\}}^{\otimes 2}p(\omega \mid D)d\omega \end{array}$

    这个公式描述了模型输出的方差（Variance）的分解，描述了模型在给定输入 $x$ 和训练数据集 $D$ 的条件下，输出 $y$ 的方差。方差是用来表示随机变量的离散程度，因此在论文中，可以看成用来度量模型对于相同输入 $x$ 的不确定性。

    • $Va{r}_{p(y|x,D)}(y)$：这部分表示模型输出 $y$ 的总方差，它是在给定输入 $x$ 和数据集 $D$ 的条件下计算的。

    • 第一个积分：这一部分表示模型的不确定性分为两部分。第一部分是由模型在不同的参数配置（用符号 $\omega$ 表示）下产生的不确定性引起的，然后根据参数配置的概率分布 $p(\omega |D)$ 进行加权平均。这部分通常被称为"Epistemic Uncertainty"（认知不确定性），它反映了模型对自身参数的不确定性。

    • 第二个积分：这一部分表示模型的不确定性来自于模型对相同的输入 $x$ 产生不同输出的不一致性，然后也根据参数配置的概率分布 $p(\omega |D)$ 进行加权平均。这部分通常被称为"Aleatoric Uncertainty"（随机不确定性），它反映了由于输入数据本身的随机性引起的不确定性。

      这个公式的核心思想是，模型的总不确定性可以分解为两个部分：一部分是由于模型自身的不确定性（Epistemic Uncertainty），另一部分是由于输入数据的随机性（Aleatoric Uncertainty）。这种分解可以帮助我们更好地理解模型的不确定性来源，从而更准确地评估模型的可信度和鲁棒性。

  • 本文如何使用：首先随机dropout卷积层中10%的神经节点。在MC dropout的帮助下，在测试期阶段将输入的图像输入到提出的分割网络中$T$次，可以得到$T$分割预测。然后，将这些$T$分割预测生成不确定性图（这里使用的是"Uncertainty quantification using
    Bayesian neural networks in classification: Application to biomedical image
    segmentation"这篇文献中的方法，在下一篇博客中专门介绍一下）

  • 包括认知不确定性和任意不确定性。然后提出将不确定性映射集成到深度学习模型中。这样，不确定性映射就可以作为一个附加的约束信息，自动辅助网络获得更好的分割结果。

• Attention-aware multi-modal fusion module：这部分就是常规的同时通过通道注意力和空间注意力实现更好的特征融合，图片放出来一目了然，不做过多解释。

  

三.数据集和硬件

V100 GPU Keras

BraTS 2018 and BraTS 2019 datasets

四.Ablation Study

探究以下几个方面：

1. Multi-Scale Contextual Feature Information: 研究了多尺度上下文特征信息对分割性能的影响。这是通过将网络中的多尺度特征信息删除来实现的。结果表明，多尺度上下文信息对于提高分割性能至关重要。
2. Effective Channel Feature Information: 分析了有效通道特征信息的影响，通过将通道特征信息删除来模拟。结果表明，有效通道特征信息对分割性能也有积极的影响。
3. Uncertainty Quantification: 通过分别使用aleatoric不确定性和epistemic不确定性来进行实验。结果显示，不确定性量化可以改善分割性能。

五.性能比较

六.本文提出的量化的可视化效果

作者首先指出，脑肿瘤分割中的一些错误预测通常出现在肿瘤边界附近，特别是不同亚型肿瘤之间的边界。这是因为亚型肿瘤的形状和大小各不相同，因此这些区域容易被认为是不确定的。然后，作者展示了如何使用不确定性量化，特别是使用epistemic（认知）不确定性map，来识别和可视化这些不确定的分割区域。结果显示，相对于aleatoric（偶然）不确定性map，epistemic不确定性map提供了更多关于不确定分割区域的信。最重要的是，作者发现当将这些不确定性map应用于他们提出的网络架构时，分割结果得到了改善。在每个示例下显示了Dice分数的提高，这表明不确定性量化有助于改进分割准确性。

本文的一些启示

• 肿瘤边界附近，特别是不同亚型肿瘤之间的边界如何更加准确的分割？
• 除了CAM、本文的不确定量化外，是否有更好的不确定量化与图像融合的方法？