Unsupervised Domain Adaptation with Variational Approximation for Cardiac Segmentation

Wu F, Zhuang X. Unsupervised domain adaptation with variational approximation for cardiac segmentation[J]. IEEE Transactions on Medical Imaging, 2021, 40(12): 3555-3567.

2021年6月发表在TMI上的一篇文章。用VAE（直译：变量逼近法/变量近似法）进行心脏分割的无监督域适应研究。

关于VAE：变分自编码器VAE：原来是这么一回事 | 附开源代码 - 知乎

0、简介

大多数已有的工作将源域和目标域的图像映射到一个共同的潜在特征空间中，然后通过对抗性训练隐含地减少它们的差异（比如FCNs in the wild、AdaptNet），或者通过直接最小化差异指标明确地减少差异（比如AdvEnt的熵图）。在这项工作中，作者提出了一个新的框架，其中两个领域的潜在特征被驱动到一个共同的参数化的变量形式，其给定图像的条件分布是高斯的。这是由两个基于变异自动编码器（VAEs）的网络和这种变异近似的正则化实现的。这两个VAE，每个领域都包含一个分割模块，其中源分割是以监督的方式训练的，而目标分割是以无监督的方式训练。我们用两个心脏分割任务验证了所提出的领域适应方法，即跨模式（CT和MR）的全心分割，以及跨序列的心脏MR分割。结果表明，与两种最先进的方法相比，所提出的方法取得了更好的准确度，并显示了用于心脏分割的良好潜力。此外，所提出的显式正则化在缩小领域间的分布差距方面是有效的，对无监督的领域适应是有用的。

代码和数据：https://zmiclab.github.io/projects.html

（a）以前在潜在特征空间中的域适应性研究的框架。域被映射到一个共同的潜在特征变量z中，然后通过对抗性训练（DANN）或明确的差异度量最小化（CF distance，一种域差异度量指标，用于跨模式的心脏图像分割；MMD）来减少领域差异。X_s、X_t分别是源域、目标域图像。z是潜在的特征变量（theta以后应该是feature map参数，p以后应该是指softmax以后的output space，是概率函数）。

（b） 作者提出的，通过变异近似法（variational approximation）的域适应方法（VarDA）。两个域通过变分自动编码器（variational autoencoder/variational bayes）被驱动到参数化分布q φ S和q φ S。作者还提出了一个正则化项来约束qφ S和qφS为同一分布。具体来说，作者不是直接减少两个领域的潜在特征的差异，而是强迫这些特征的分布近似于一个参数化的概率分布函数。近似过程可以通过变异自动编码器（VAE）的一个变体来实现。然后，两个近似值之间的距离可以作为正则化，这在实验中被验证为对领域适应是有效的。

对于心脏分割任务，PnP-AdaNet和SIFA是两个最相关的工作。PnP-AdaNet利用多层特征进行适应，而SIFA在特征和图像层面上最小化域差异。它们都在心脏数据集上被验证是有效的。

在这项工作中，作者提出了一个新的领域适应框架，通过变异近似（VarDA）的策略用于心脏图像分割。

1、主要贡献

（摘自原文）这项工作的主要贡献总结如下。(1) 我们开发了一个新的领域适应框架，其中两个领域的潜在特征被一个共同的和参数化的变异形式所接近。该框架使用基于变异自动编码器（VAE）的深度神经网络实现。(2) 我们提出了一个明确的正则化，它由潜变量分布的近似值之间的距离来计算。(3) 我们通过涉及两个心脏图像分割任务的实验来验证我们的建议。在实验中，我们提供了与其他先进算法的比较，并进行了参数研究。

2、Variational autoencoder

VAE是一种流行的深度生成模型。使用VAE，人们可以用正态分布来近似潜在变量的后验分布，并以数据为条件[36]。这一特性特别有用，它使我们能够将两个领域推向潜伏空间中的一个共同的和参数化的变量。Kingma等人[37]开发了一个基于VAE的新模型，用于小标签数据集的半监督学习。该模型允许对大量未标记的数据进行有效的泛化，这些数据被认为与标记的数据来自相同的分布。此外，基于高斯潜变量的条件变异自动编码器，Sohn等人[38]提出了一个随机神经网络来对结构化输出变量进行推理。他们通过最大化生成网络来进行确定性推理，该网络同时使用数据和其相应的潜伏特征进行预测。另一项重要的VAE工作来自Walker等人[39]，作者构建了一个VAE模型来预测像素的密集轨迹。该方法采用了一个编码器来估计以数据和标签为条件的潜变量的后验分布，以及一个解码器来预测给定图像的轨迹的条件分布。

在这项工作中，源数据（有标签）和目标数据（无标签）的分布是不同的，因为存在领域转移。另外，VAE模型，如Walker等人提出的模型[39]，通常需要所有数据的标签，然而在无监督领域适应任务中，目标数据并没有这些标签。因此，在这项工作中，我们提出了一种新的领域适应的VAE形式，并推导出了一个明确的领域差异的正则化。

3、总体框架

上图：拟议的领域适应方法的框架。对于每个领域，我们构建一个修改过的VAE模型，它包含一个提取模态不变的潜在特征的编码器，一个用于图像重建的解码器，以及一个用于图像分割的分割器。领域差异是用两个领域的潜在特征的估计分布来明确计算的。 

4、数据和实验

作者使用了两个数据集进行实验。

一个是多模态全心脏分割 （MM-WHS）挑战赛数据集。组织者提供了具有黄金标准分割的MR和 CT三维图像。这些图像收集自不同的病人和 不同的临床部位。 为了进行评估，我们包括以下五个结构的分割： 右心房血腔（RA），右心室血腔（RV），左心房血腔（LA），左心 室血腔（LV），以及左心室心肌（MYO）。我们采用CT图像作为源域 ，而MR图像作为目标。 

另一个是多序列心脏磁共振分割（MS- CMRSeg）挑战数据集。MS-CMRSeg数据集。该挑战提供了三个CMR序列，即LGE、BSSFP和T2图像，该挑战的目标是对LGE CMR图像的RV、LV和MYO进行分割。