医学配准综述之对偶学习或弱监督学习 2019-09-19

4.2 对偶/弱监督转换预测。

双重监督是指利用地面真实数据和一些量化图像相似性的度量来训练模型。另一方面，弱监督是指利用相应解剖结构的节段重叠来设计失功能。本节将在4.2.1节中讨论这些著作的贡献，然后在4.2.2节中讨论本研究方向的总体状态。

4.2.1 工作概况

本节首先讨论对偶监督学习然后再弱监督学习的方法。

4.2.1.1 对偶监督学习

Fan et al.【34】使用分层对偶监督学习来预测三维脑部配准变形场。他们改善了Unet结构。使用gap-fill(即在u型结束或体系结构之后插入卷积层)和由粗到细的指导。这种方法利用了预测和地面真实转换之间的相似性，以及扭曲图像和固定图像之间的相似性来训练网络该方法的体系结构优于传统的U-Net体系结构，通过去除图像相似度损失函数项，验证了双重监督策略的有效性。图6给出了一种双监督变换估计的可视化方法。
Yan et al. [134] 使用GAN[39]框架对三维MR和TRUS体块进行刚性配准。在这项工作中，生成器被训练来估计一个刚性转换。同时，识别器被训练来辨别使用真实变换对齐的图像和使用预测变换对齐的图像。该方法利用欧氏距离和对抗性损失项构造了损失函数，其性能优于基于MIND的配准和基于MI的配准。值得注意的是，在这种方法中使用的对抗性监督策略与将在下一节中描述的一些非监督作品中使用的策略相似。图7给出了一种对抗性变换估计的可视化方法。

Fig. 7 A visualization of an adversarial image registration framework. Here, the generator is trained using output from the discriminator. The discriminator takes the form of a learned metric here

4.2.2.2 弱监督学习

与上面所提使用对偶监督方法不同的是。Hu等[51,52]最近使用标签相似性训练他们的网络来执行MR-TRUS配准。在他们最初的工作中，他们使用了两个神经网络:局部网络和全局网络，分别估计了具有12个自由度的全局仿射变换和局部密集变形场[51]。局域网的输入是由局域网给出的移动图像和固定图像的变换串联而成的。然而，在他们后来的工作[52]中，他们将这些网络组合在一个端到端框架中。该方法优于基于NMI和基于NCC的配准。
图8给出了弱监督变换估计的可视化

Fig. 8 A visualization of deep single step registration where the agent is trained using label similarity (i.e weak supervision). Manually annotated data (segmentations) are used to define the loss function used to train the network.

Hu et al. [50] 同时最大化标签相似性和最小化一个对抗性损失项来预测MR-TRUS配准的变形。这个正则化项强制所预测的转换生成一个真实的图像。如果选择适当的超参数，将对抗性损失作为正则化项很可能成功地迫使转换成为真实的图像。这一配准框架的性能低于他们之前描述的配准框架的性能。但是，它们表明对偶正则化优于基于标准弯曲能量的正则化。
Hering et al. [46]建立在双重和弱监督的基础上，引入了基于标签和相似性度量的损失函数，通过对二维cineMR图像的可变形配准来跟踪心脏运动。该方法利用分割重叠和基于边缘的归一化梯度场距离构造损失函数。他们的方法优于类似于[104]中提出的多级配准方法。

4.2.2评价与讨论

直接变换估计是基于深度学习的图像配准的一个重大突破。在充分监督下，取得了良好的效果。然而，这些技术需要大量详细的带注释的图像来进行训练。部分/弱监督变换估计方法减轻了真实标签可信度和代价的限制。另一方面，在多模态情况下，弱监督允许相似性量化。此外，部分监督允许聚合可用于评估预测配准质量的方法。因此，人们对这些研究领域越来越感兴趣。