医学图像配准综述 基于深度迭代的方法2019-09-16

文章：Deep Learning in Medical Image Registration: A Survey [paper]
主要是翻译，水平有限大致翻译一下 ，emmmmm大致看得懂，就凑合着看把 。

1、概述

文章综述了近几年深度学习再医学配准上面的应用，具体按照配准方法进行分章介绍
1、深度迭代配准
2、监督可变形预测
3、无监督可变形预测
关于深度学习再图像配准中的应用如下图，可见半监督学习和无监督学习中基于相似性度量的配准方法比较热门。

图1：基于深度学习的医学图像配准方法分类综述。粗体表示热门的研究方向。

图2：综述了基于深度学习的图像配准工作和基于深度学习的医学成像工作的数量。红线为基于医学影像的配准方法趋势线，蓝线为基于深度学习的医学影像配准方法趋势线。

最初，深度学习被成功地用于增强基于迭代、强度配准方法的性能。之后，有几个小组研究了强化学习在配准任务中的应用。此外，为了追求更快的配准方法，基于深度学习的一步转换估计技术越来越受到重视（one-step transformation estimation techniques.）。最近，许多team开发用于一步转换估计的非监督框架来获取/生成真实数据。其中基于信息论的相似性度量，解剖结构的分割，和生成对抗网络架构显得比较有前途

2、各种深度学习的介绍

1、卷积神经网络
2、循环神经网络
3、增强学习
4、生成对抗网络
个人比较关注生成对抗网络，所以多写一点

2.4生成对抗网络

GAN再医学配准中的应用通常用于正则化，生成器语塞一种转换方式，鉴别器生成的重采样的图像作为输入，训练鉴别器识别对齐的图像对和重采样的图像对。生成器通常用对抗损失和目标损失的线性组合训练，鉴别器和生成器通常都采用交叉熵损失函数。
更多关于GAN再医学分析上的综述可以参考【61】Gans for medical image analysis

3、深度迭代配准

基于强度的图像自动配准既需要量化移动图像和固定图像之间相似性的度量，也需要更新转换参数的优化算法，从而使图像之间的相似性最大化。在深度学习复兴之前，这类配准方法应用经常使用几种手工制作的度量标准，包括:差平方和(SSD)、互相关(CC)、互信息(MI)[84, 129]、归一化互相关(NCC)和归一化互信息(NMI)。深度学习在医学图像配准中的早期应用是对这一经典框架的直接扩展[114,132,133]。几个小组后来使用强化学习范式迭代地估计转换[64、73、83、88]，
在3.1节中介绍基于深度相似性的配准方法，3.2节介绍基于增强学习的配准方法。各种迭代学习的方法列在表1中

3.1 基于深度相似性的配准方法

在本节中，研究了使用深度学习来学习相似性度量的方法。该相似性度量通过定义插值策略、转换模型和优化算法被插入到经典的基于强度的配准框架中。整个框架的可视化如图3所示：实线表示训练和测试期间所需的数据流，虚线表示仅在训练期间需要的数据流

Fig. 3 A visualization of the registration pipeline for works that use deep learning to quantify image similarity in an intensity-based registration framework.

3.1.1 工作概要

虽然人工是定的相似性度量在单模态配准中去的较好的效果，深度学习用来学习更好的指标，本节先介绍使用深度学习来增强基于单模态强度配准的方法，然后再讨论多模态的配准

3.1.1.1 单模态配准

Wu et al. [132, 133] 首先采用深度学习来得到特定的相似性度量进行配准。他们使用卷积堆叠自动编码器(CAE)提取了用于三维大脑MR体单模可变形配准的特征。随后，他们使用梯度下降优化两组特征的NCC进行配准。这种方法优于微分同胚的模型（diffeomorphic demons ）[127]和基于HAMMER[110]的配准技术

Eppenhof et al. [32] 以端到端的形式对三维胸部CT扫描(吸气-呼气)的可变形配准误差进行估计。他们使用3D CNN来估计输入的吸气-呼气对胸部CT扫描的误差图。和上面的方法一样，本文只使用了学习到的特性。

Blendowski et al. [10] 再肺部CT配准中结合基于CNN的描述符（descriptors），和基于人工自定的MRF自相似性描述符。虽然手动创建的描述符优于基于cnn的描述符，但是使用两组描述符均可获得最优性能。这表明，在单模态配准的情况下，深度学习可能不会优于手工制作的方法。但是，它可以用来获得补充信息

3.1.1.2 多模态配准

将深度学习应用于基于强度的配准的优势在多模态情况下更为明显，在这种情况下，手工构建的相似性度量几乎没有取得成功。

Cheng等人[18,19]最近使用堆叠的去噪自动编码器来学习一种相似性度量方法，该方法评估CT和MR图像刚性对齐的质量。他们表明，他们的指标在应用上优于归一化互信息NMI和局部相关(LCC)。

为了在多模态情况下显式估计图像相似度，Simonovsky等[114]使用CNN学习对齐的3D T1和T2加权脑MR体积之间的差异。利用该相似度度量，采用梯度下降法迭代更新定义变形场（deformation
field.）的参数。该方法优于基于MI的配准，为基于深度强度的多模态配准奠定了基础。

此外，Sedghi等[108]利用5层神经网络学习相似度指标，对三维US/MR腹部扫描进行刚性配准(其形态差异甚至比MR/CT更大)，然后用鲍威尔斯法对相似度指标进行优化。这种方法也优于基于MI的配准方法。

Haskins et al. [42] 通过使用CNN预测目标配准误差(TRE)，获得了MR和经直肠US (TRUS)体多模态刚性配准的相似度度量。由于所学习的度量不具有凸性，因此在使用传统的优化算法之前，他们使用进化算法来探索解空间，而不是使用上述方法等传统的优化器。这种注册框架优于基于MIND[44]和MI的配准方法。

Wright et al.使用LSTM空间共变换网络来进行组级别的迭代配准MR和US。循环空间转换发生在三个阶段：图像翘曲，残差参数预测，和参数组合。他们证明了他们的方法比之前使用自相似上下文描述符[45]的多模态图像相似度量化方法更能量化图像相似度。

3.1.2 评价和讨论

最近的研究证实了神经网络在多模态医学图像配准中评估图像相似性的能力。本节描述的方法所取得的结果表明，深度学习可以成功地应用于具有挑战性的配准任务。然而，来自[10]的研究结果表明，在单模态下，学习的图像相似性度量可能适合补充现有的相似性度量。此外，很难使用这些迭代技术进行实时配准。

3.2 基于增强学习的配准方法

在本节中调查了增强学习在配准任务中的应用。这种方法中采用训练好的agent进行配准而不是之前提到的优化算法。大致结构如图4所示。增强学习一般用在刚性配准上，。但是也能用在可变形配准上。

Fig. 4 A visualization of the registration pipeline for works that use deep reinforcement learning to implicitly quantify image similarity for image registration. Here, an agent learns to map states to actions based on rewards that it receives from the environment.

Liao et al. [73]率先采用基于强化学习的配准方法对心脏和腹部三维CT图像同锥束CT (CBCT)图像进行刚性配准。他们使用贪婪监督方法进行端到端训练，并采用注意力驱动的分层策略。他们的方法优于基于MI的配准和使用概率图的语义配准

Kai et al. [83]采用强化学习方法对MR/CT胸腔容积进行刚性配准。这种方法源于Q-learning，利用上下文信息来确定投影图像的深度。该方法所使用的网络来源于竞争网络体系结构（dueling
network architecture ）[131]。值得注意的是，这项工作还区分了终端奖励和非终端奖励。该方法优于基于迭代最近邻点(ICP)、地标（landmarks,）、Hausdorff距离、深度Q网络和竞争网络（Dueling Network ）的配准方法[131]。

Miao等人[88]没有采用上述方法训练单一的agent，而是在增强学习范式中使用多agent系统来刚性配准脊柱的x线和CT图像。他们使用自注意力机制来观察多个区域，并证明了多智能体系统的有效性。它们能够显著优于使用[24]给出的最先进的相似性度量的配准方法

上述基于刚性配准的工作相反，Krebs等[64]采用基于强化学习的方法对二维和三维前列腺MR进行了可变形配准。采用低分辨率变形模型进行配准和模糊动作控制，以影响随机动作的选择。为了限制作用空间的维数，需要建立低分辨率的变形模型。这种方法优于Elastix[62]和基于LCC-Demons[80]的配准技术。

3.2.2 评价和讨论

增强学习的使用是直观的医学图像配准应用。基于配准的增强学习的一个主要挑战是处理高分辨率变形场的能力。对于刚性配准没有这样的挑战。由于这些方法的直观性和最近提出的方法，我们希望这些方法在未来几年能得到研究领域更多的关注。

医学图像监督学习变形配准方法

医学图像无监督学习变形配准方法

医学图像配准的趋势和方向