医学影像-深度学习综述

论文笔记《深度学习目前先进的技术与应用在医学影像》

1.引言

CAD（计算机辅助检测与诊断）

一个常见的传统处理过程包括三个步骤：

• 目标分割
• 特征计算
• 疾病分类

深度学习：

隐藏在原始图像中的重要特征被基于通用神经网络的模型自动识别出来，不需要人工进行特征开发。

2.深度学习方法综述

2.1监督学习

2.2 无监督学习

2.2.1 Autoencoder

• 自动编码器广泛应用于降维和特征学习
• 通过最小化输入和从潜在表示重建之间的重建损失来学习输入数据的潜在特征表示
• 通过堆叠多个自编码器并以贪婪的分层方式优化它们，深度自编码器或堆叠自编码器(SAE)可以比浅自编码器学习更复杂的非线性模式

2.2.1.1 SAE

• 由编码器网络和解码器网络组成，它们通常彼此对称
• 迫使模型学习具有理想特征的有用的潜在表示，可以将正则化术语(如稀疏自编码器中的稀疏性约束)添加到原始重构损失中
• 正则化自编码器包括去噪自编码器和收缩自编码器，都设计为对输入扰动不敏感。
  SAE讲解

2.2.1.2 VAE

• 以概率的方式学习观测数据空间与潜空间之间的映射
• VAE将这个问题表述为观测样本的对数似然最大化
• VAE扩展：
  • CVAE：编码器和解码器学习到的概率分布都是使用外部信息(例如图像类)的条件。使得VAE能够生成结构化的输出表示
  • 高斯混合VAE (GMVAE)：使用高斯混合系数，以获得更高的潜在空间建模能力

2.2.2 GANs

生成模型G将从先验分布(通常是高斯分布或均匀分布)中采样的随机噪声向量z作为输入，然后将z映射到G（z，w），G为神经网络

G与真样本被送入D

改进版本GAN：

• WGAN：不同的损耗(目标)函数
• cGAN: 指导数据生成过程，通过附加信息(即类标签)调节其生成器和判别器来构造的
• ACGAN: 提出了另一种使用标签条件反射来改进图像合成的策略,除了区分真假图像，D的任务还包括重建类标签

2.2.3 Self-supervised learning

首先训练模型以无监督的方式从原始的无标记图像数据中学习丰富而有意义的特征表示，然后在带有标记数据的各种下游任务中对特征表示进行微调，如分类、目标检测、实例分割等

自我监督可以通过两种方式建立:代理任务和对比学习

2.2.3.1 pretext tasks

• 代理任务通过隐藏每个输入图像的特定信息(如通道、补丁等)来学习表示，然后从图像的其余部分预测缺失的信息（BERT）
• 习得表征的泛化性严重依赖于手工制作的代理任务的质量

2.2.3.2 Contrastive learning

• 依赖于对比损失

• 强制相似度度量，对正(相似)对最大化，对负(不相似)对最小化

• Moco

• SimCLR

  

2.3 半监督学习

• 半监督学习(SSL)在模型训练中结合了有标签和无标签的数据。
• SSL适用于标记数据有限和大规模但未标记数据可用的场景
• 尽管有潜在的积极价值，未标记的数据有时会恶化性能
• 深度半监督方法通常比高质量的监督基线表现更好
• 流行的SSL方法分为三组:
  • 基于一致性正则化的方法;
  • 基于伪标记的方法;
  • 基于生成模型的方法。

2.3.1 consistency regularization based approaches（一致正则化）

• 如果应用了一些扰动(如添加噪声、数据增强)，则对未标记示例的预测不应发生显著变化
• 损失分为两部分
  • 未标记的：减少与标记的误差
  • 标记的：计算交叉熵
• Ladder Networks
• Π-Model
• Temporal Ensembling
• UDA（Unsupervised Data Augmentation for Consistency Training）
• MixMatch

2.3.2 pseudo labeling based approaches （伪标记法）

• 模型本身为未标记的示例生成伪注释;伪标记样例与标记样例联合使用

2.3.3 generative models based approaches

• 更关注于解决目标任务(例如，分类)，而不仅仅是生成高保真样本

2.4. Strategies for performance enhancement （提升策略）

2.4.1. Attention mechanisms

• 当处理图像时，注意模块可以自适应地学习“什么”和“去哪里”，以便模型预测以最相关的图像区域和特征为条件
• 注意机制大致可以分为软注意和硬注意两类。前者确定性地学习所有位置的特征的加权平均值，而后者随机抽样特征位置的一个子集来参加

分为四类

• 空间注意
• 通道注意
• 空间注意和通道注意的结合
• 自我注意

2.4.2 Domain knowledge

• 如何为医学图像分析定制模型一直是一个重要的问题。一个可能的解决方案是集成适当的领域知识或特定于任务的属性，这已被证明有利于学习有用的特征表示，并降低医学成像环境中的模型复杂性
• 对如何将医学领域知识整合到网络设计中有兴趣的读者可以参考A survey on incorporating domain knowledge into deep
  learning for medical image analysis

2.4.3. Uncertainty estimation

不确定性估计常用的技术包括贝叶斯近似和模型组合

A review of uncertainty quantification in deep learning（paper）

3.深度学习应用

3.1 分类

目的是区分恶性病变与良性病变

3.1.1 监督学习

• AlexNet
• VGG
• GoogleLeNet
• ResNet
• DenseNet
• 转移学习已经成为图像分类任务的基石
• 注意模块被用于提高性能和更好的模型可解释性

3.1.2 无监督学习

3.1.2.1 无监督图像合成

• 数据增强如旋转、缩放、翻转、平移等不能为现有的训练实例带来太多的新信息
• 利用DCGAN在有限的数据集上合成高质量
• 从无条件设置(DCGAN)扩展到条件设置(ACGAN）
• 基于acgan的综合增强算法比无条件增强算法的分类性能要差。
• cGAN

3.1.2.2 自监督学习

将模型优化分为自监督预训练和监督微调两个步骤

代理任务

• 旋转预测
• 魔方恢复
• 相对位置预测
• 局部上下文预测
• 上下文还原
• 背景恢复
• 旋转、着色和基于WGAN的补丁重建

对比学习

• SimCLR 来训练模型，用于皮肤疾病分类和胸部x线分类
• Moco

3.1.3. 半监督学习

基于半监督GAN的分类器的性能始终优于监督CNN

3.2 分割

(1)回顾最初的U-Net及其重要的变体，并总结有用的性能增强策略

(2)介绍了U-Net与变压器的结合，以及Mask RCNN

(3)介绍了自监督和半监督的分割方法

3.2.1. 基于监督学习的分割模型

I. U-Net及其变体

• Unet++
• 3D U-Net
• V-net(Res U-net)
• Dense V-net(用三个密集特征栈序列替换了其相对较浅的下采样网络)
• RU-net,R2U-net
• 脑肿瘤分割的对抗网络
• 在U-Net架构中加入注意门(AGs)
• 分层概率模型估计前列腺MR和胸部CT图像分割的不确定性

II. Transformers for segmentation

• TransUNet(CNN和Transformer结合在一起)

• TransFuse
• CoTr
• swing - unet(Swin Transformer)
• Transformers can also produce good results without pre-training
• when applying Transformers-based model for 3D medical image segmentation, find pre-training did not show performance improvement.

III. Mask R-CNN for segmentation

Mask RCNN

• 像Faster RCNN中那样的区域建议网络(RPN)来产生高质量的区域建议(即可能包含对象)
• RoIAlign层来保留roi及其特征映射之间的空间对应关系
• 除了像Faster RCNN中那样的边界框预测之外，还有一个并行分支用于二进制掩码预测
• 特征金字塔网络(FPN) 被用作掩码RCNN的骨干，以提取多尺度特征

Mask RCNN++

3.2.2. 基于无监督学习的分割模型

1.代理任务

• 旋转预测、拼图游戏、相对补丁位置在3D医学图像分割中的有效性
• 3D任务比2D任务表现更好

2.对比学习

• 局部对比损失来捕获局部特征
• 提出的方法可以进一步受益于Mixup等数据增强技术

3.2.3 半监督学习

1.半监督一致性正则化

• 常用的是平均教师模型
• Mean Teacher model

2.伪标签法

• SemiInfNet
• PPD可以聚合输入图像的高级特征，生成一个全局地图，显示肺部感染区域的粗略位置;
• EA模块利用底层特征对边界细节进行建模；
• RA模块将粗糙估计进一步细化为精确的分割图

3.生成模型

• 两个VAE：作者使用第一个VAE对未标记的数据执行辅助任务(图像重构)，这可以帮助第二个VAE更好地实现使用标记数据的目标目标(图像分割）
• a semi-supervised segmentation framework consisting of a UNet-like network for segmentation

3.2.4 表格总结

3.3 检测

3.3.1. 监督和半监督病变检测

一、检测框架概述

两个探测器

• RCNN
• Fast RCNN
• Region Proposal Network (RPN)
• MASK RCNN（掩码RCNN）
• FPN（金字塔网络）

一个探测器

• yolo系列
• CornerNet

二、特定类型的医疗对象(如病变)检测

常见任务

• 检测肺结节
• 乳腺肿块
• 淋巴结
• 硬化病变

困难:

1. 与自然物体相比，病变的尺寸可能非常小
2. 病变和非病变往往具有相似的外观(如纹理和强度)

解决方法一

1. 在Faster RCNN的末尾引入了反卷积层，以恢复对检测小物体很重要的细粒度特征。
2. 在反卷积特征图上，利用FPN从二维轴向切片中提出结节的候选区域
3. 选择了3D CNN来利用候选区域的3D上下文

解决方法–其他

• 3D Faster RCNN用于结节检测
• PN9（40000个肺的数据集）

半监督方法MixMatch

• 将FPN应用于未标记的CT图像
• 通过Mixup增强方法将伪标记的示例与有基础真理注释的示例混合在一起

半监督方法在肺结节检测方面比监督学习基线有显著的性能提高

四个不确定性度量:

• 来自训练数据的预测方差
• 蒙特卡洛(MC)样本的方差
• 预测熵
• 互信息
• 这些措施形成的阈值用来过滤出最不确定的候选病变，从而提高检测性能。

三、普遍的病变检测

• DeepLesion是一个庞大而全面的数据集(32K个病灶)，包含各种病灶类型，如肺结节、肝肿瘤、腹部肿块、盆腔肿块
• 基于Mask RCNN的ULDor
• MULAN
• 基于R-FCN的检测体系结构
• 基于FPN的体系结构，该体系结构具有一个可以整合临床知识的注意模块
• 使用三个FPN从三个经常检查的窗口生成特征图;然后使用注意力模块从不同的窗口调整特征图的重量

3.3.2. 无监督的病变检测(非预先指定的病变检测类型)

• VAE和GAN
• 基于恢复的方法通常比基于重构的方法性能更好

1.重建模型

• AE或VAE的模型将图像投影到低维潜在空间中
• 根据其潜在表示重建原始图像
• CVAE学习健康图像补丁的潜在表征
• 除了重建误差外，他们还进一步假设健康斑块和不健康斑块的潜在表征之间有很大的距离,将这两种距离结合在一起

2.恢复模型

被恢复的目标有两种情况：

• 一个最优的潜在表征

• 输入异常图像的健康对应物

模型

• GAN
• VAE
• AnoGAN
• f-AnoGAN
• AnoVAEGAN
• ELBO
• GMVAE

3.3.3 表格总结

3.4 配准

3.4.1 定义

• 配准，即将两个或多个图像与内容匹配的图像对齐到一个坐标系中的过程
• 图像配准可以分为两组:刚性和可变形(非刚性)
  • 在刚性配准中，所有的图像像素统一地经历一个简单的变换(如旋转)，而变形配准旨在建立图像之间的非均匀映射
  • 形变图像配准应用多
• 基于深度学习的医学图像配准方法被分为三组:
  • 深度迭代配准
  • 监督配准
  • 无监督配准

3.4.2 深度迭代配准

概念

• 深度学习模型学习一个度量，量化目标/移动图像和参考/固定图像之间的相似性
• 将习得的相似度度量与传统优化器结合使用

模型

• 5层CNN
• 堆栈去噪自编码器的FCN

3.4.3 有监督配准

• directly predict displacement vector fields (DVFs)
• 形变场

3.4.4 无监督配准

• VoxelMorph
  • 卷积U-Net
  • 空间变压器网络(STN)
• Syn
• DLIR
  • 第一阶段用于仿射图像配准(AIR)
  • 其余三个阶段用于变形图像配准(DIR)

3.4.5 表格总结

4.总结

• 对比学习似乎比代理任务更有前景
• NAS神经结构搜索
• MICCAI(比赛)
• 大多数医学图像分析的研究论文都是通过常用的指标来报告模型的性能，例如，分类任务的准确性和AUC，分割任务的Dice系数。

5.参考文献

4.3 有监督配准

• directly predict displacement vector fields (DVFs)
• 形变场

3.4.4 无监督配准

• VoxelMorph
  • 卷积U-Net
  • 空间变压器网络(STN)
• Syn
• DLIR
  • 第一阶段用于仿射图像配准(AIR)
  • 其余三个阶段用于变形图像配准(DIR)

3.4.5 表格总结

[外链图片转存中…(img-YsmsKoqn-1663165173037)]

[外链图片转存中…(img-cIFUhfXE-1663165173038)]

4.总结

• 对比学习似乎比代理任务更有前景
• NAS神经结构搜索
• MICCAI(比赛)
• 大多数医学图像分析的研究论文都是通过常用的指标来报告模型的性能，例如，分类任务的准确性和AUC，分割任务的Dice系数。

5.参考文献

[1] Chen X, Wang X, Zhang K, et al. Recent advances and clinical applications of deep learning in medical image analysis[J]. Medical Image Analysis, 2022: 102444