[MICCAI2019]Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

MICCAI2019 多模分割相关论文笔记

Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

基于 CNN 的多模 MR 图像分析通常会在一层或几层融合了多个下采样流,特征融合通常是通过简单的求和或串联进行的,而没有进行优化。作者提出了一种监督图像融合方法,以选择性地融合来自不同模态的有用信息并抑制各个噪声信号。具体来说,引入了一个注意块作为信息选择的指导。从不同的模态中,选择一种对结果贡献最大的模态作为主模态,它监督其他辅助模态的信息选择。

介绍

不同成像方式的组合可以克服单个方式的局限性。关于多模图像分割的一个关键问题是来自不同成像模式的信息融合。

基于CNN的多模态图像融合可以通过早期融合,后期融合和多层融合来实现。早期融合发生在输入阶段或低层特征阶段,这种策略可能无法实现预期的信息补偿,尤其是当不同的模态图像具有复杂的关系时。后期融合是指高级和高抽象特征的融合,在这种情况下,通常使用多流网络,每个流都处理来自一个模态的图像。事实证明,后期融合比直接早期融合产生更好的分割结果。

尽管如此,多层融合应该是一个更普遍的策略。多层融合是为RGB-D图像分割首次提出的,FuseNet旨在将深度信息合并到RGB图像中。通过 FuseNet 进行的进一步网络优化证明,多层融合是一种更有效的方法。多层融合也已经成功地应用于多模医学图像分割,尽管已经获得了令人鼓舞的结果,但是特征融合是通过直接按像素求和或逐通道串联进行的。如果没有监督和选择,融合过程可能会将无关的信号和噪声信号引入最终输出。(此段总结了部分多模融合方法)

作者提出了一种新颖的基于多流CNN的特征融合网络,用于处理多模式MR图像。根据实际临床情况,我们选择一种对最终分割结果贡献最大的MR方式,即主要方式,将其他方式作为辅助方式。受到知识提炼概念的启发[14],教师网络监督学生网络的培训,我们的主模态网络流监督辅助模态网络流的培训。详细地说,我们采用一个关注块从主模态中提取监督信息,并利用该监督信息从主模态和辅助模态中选择有用的信息。

方法

不同的成像方式包含针对目标任务的各种有用信息。 对于乳腺MR图像,T1C 模态在检测乳腺肿块方面具有较高的灵敏度和相对较低的特异性,但其不仅突出了乳房肿块区域,而且还突出了不相关的区域,例如器官和密集的腺体组织。在这种情况下,T2W 图像对于区分所有增强区域的真实质量很重要。 因此,在所提出的方法中对两种成像方式分别进行了处理。 选择 T1C 作为对结果有更大影响的主模式;T2W 被视为辅助模式,是对主模式信息的补充。

受师生网络之间知识提炼的启发,作者提出了一个有监督的老师-学生跨模态学习框架。 主模态产生监督信息,该信息调制辅助模态的学习。 受基于激活的注意力转移策略的启发,设计了一个空间注意力(SA)块来提取监督信息,块的输入是来自主模态流的特征,而输出是权重热图,用于指导主模态和辅助模态的信息选择。模型结构示意图如下:[MICCAI2019]Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation_第1张图片

实验结果

[MICCAI2019]Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation_第2张图片
baseline: FuseNet: incorporating depth into semantic segmentation via fusion-based CNN architecture.

总结

将空间注意力用于多模分割,用辅助流网络生成注意力权重来矫正主网络。

你可能感兴趣的:(多模分割,MICCAI2019)