[MICCAI2019]Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis

MICCAI2019 多模分割相关论文笔记

Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis

这篇文章主要用多视图深度学习方法，通过阴道镜检查的图像数据（醋酸图像和碘图像）进行多角度的诊断（CDD）。

分析多视图医学图像数据的主要挑战是，如何有效地利用这些视图之间的有意义的相关性。作者开发了一种新的特征级融合（FLF）方法，该方法捕获了不同视图之间的全面关联，并充分利用了这两个视图中的信息。FLF方法基于注意力机制，并允许一个视图辅助另一种视图（单向融合（UFNet）），或者允许两个视图相互辅助（双向融合（BFNet）），以更好地促进特征学习。

介绍

阴道镜检查是宫颈癌的一种常用筛查方法，一般会生成多幅图像。在实践中，临床医生通常会同时分析乙酸图像和碘图像以识别潜在病变，以进行更准确的诊断。而以往的宫颈发育异常分析方法仅使用一个图像视图（即醋酸图像），可能不足以表征宫颈病变。由此作者设计了多视图学习框架来探索乙酸和碘的融合图片。

作者首先回顾了四种常见的多视图融合模型：
上图中（a）在图像级别进行融合，在通道维度拼接后输入网络。单个网络中学习，计算成本低，可能导致性能不稳定；（b）为分类器级融合，（c）为决策级融合，两者先各自提取好特征再融合，可能丢失有用信息；（d）为作者提出的在特征级别进行融合的方法（FLF）。

方法

1. 单向融合网络 Uni-Directional Fusion Network

输入一对乙酸和碘的ROI图像区域（使用Faster R-CNN 检测），在两条路径分别输出预测的类别。结构图如下所示：

• 两个自下而上的网络，主干网ResNet-50，最后一层进行融合
• 中间的辅助模块类似一个小UNet（没有连接）
• 通过乘法和加法将辅助模块的输出与主要路径的特征图合并：
• 损失函数为主辅两路损失的加权和

2.双向融合网络 Bi-directional Fusion Network

两张视图都是辅助视图和主视图，结构示意图如下：

即对单向融合的一个简单扩展。

实验结果

总结

单个网络不断下采样，每层内部采用残差结构，并将不同网络的同一层级相连，越底层连接使用的卷积层越多，没有采用跨级的连接和交叉连接，网络结构较为简单。