[MICCAI2019]Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

MICCAI2019 多模分割相关论文笔记

Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

基于 CNN 的多模 MR 图像分析通常会在一层或几层融合了多个下采样流，特征融合通常是通过简单的求和或串联进行的，而没有进行优化。作者提出了一种监督图像融合方法，以选择性地融合来自不同模态的有用信息并抑制各个噪声信号。具体来说，引入了一个注意块作为信息选择的指导。从不同的模态中，选择一种对结果贡献最大的模态作为主模态，它监督其他辅助模态的信息选择。

介绍

不同成像方式的组合可以克服单个方式的局限性。关于多模图像分割的一个关键问题是来自不同成像模式的信息融合。

基于CNN的多模态图像融合可以通过早期融合，后期融合和多层融合来实现。早期融合发生在输入阶段或低层特征阶段，这种策略可能无法实现预期的信息补偿，尤其是当不同的模态图像具有复杂的关系时。后期融合是指高级和高抽象特征的融合，在这种情况下，通常使用多流网络，每个流都处理来自一个模态的图像。事实证明，后期融合比直接早期融合产生更好的分割结果。

尽管如此，多层融合应该是一个更普遍的策略。多层融合是为RGB-D图像分割首次提出的，FuseNet旨在将深度信息合并到RGB图像中。通过 FuseNet 进行的进一步网络优化证明，多层融合是一种更有效的方法。多层融合也已经成功地应用于多模医学图像分割，尽管已经获得了令人鼓舞的结果，但是特征融合是通过直接按像素求和或逐通道串联进行的。如果没有监督和选择，融合过程可能会将无关的信号和噪声信号引入最终输出。（此段总结了部分多模融合方法）

作者提出了一种新颖的基于多流CNN的特征融合网络，用于处理多模式MR图像。根据实际临床情况，我们选择一种对最终分割结果贡献最大的MR方式，即主要方式，将其他方式作为辅助方式。受到知识提炼概念的启发[14]，教师网络监督学生网络的培训，我们的主模态网络流监督辅助模态网络流的培训。详细地说，我们采用一个关注块从主模态中提取监督信息，并利用该监督信息从主模态和辅助模态中选择有用的信息。

方法

不同的成像方式包含针对目标任务的各种有用信息。 对于乳腺MR图像，T1C 模态在检测乳腺肿块方面具有较高的灵敏度和相对较低的特异性，但其不仅突出了乳房肿块区域，而且还突出了不相关的区域，例如器官和密集的腺体组织。在这种情况下，T2W 图像对于区分所有增强区域的真实质量很重要。 因此，在所提出的方法中对两种成像方式分别进行了处理。 选择 T1C 作为对结果有更大影响的主模式；T2W 被视为辅助模式，是对主模式信息的补充。

受师生网络之间知识提炼的启发，作者提出了一个有监督的老师-学生跨模态学习框架。 主模态产生监督信息，该信息调制辅助模态的学习。 受基于激活的注意力转移策略的启发，设计了一个空间注意力（SA）块来提取监督信息，块的输入是来自主模态流的特征，而输出是权重热图，用于指导主模态和辅助模态的信息选择。模型结构示意图如下：

实验结果

baseline: FuseNet: incorporating depth into semantic segmentation via fusion-based CNN architecture.

总结

将空间注意力用于多模分割，用辅助流网络生成注意力权重来矫正主网络。