[MICCAI2019] Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-M

Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-Modality Liver Segmentation
作者：Junlin Yang，yale

---

Intro

CT便宜快速，但有辐射且对比度低；MRI对比度高，无辐射，但成本高，不易得到。在实际治疗中，CT和MRI都需要，且需要对这两种模态进行相同的病灶分割。CT数据比MRI更易得到，如果在CT数据上训练分割模型，然后在MRI上测试，因为domain shift的缘故，效果会很差。

现有的Cyclegan的方法是基于像素的风格迁移，往往会丢失语义分割信息。更重要的是，cyclegan是一对一映射，这导致它输出缺乏多样性（？），因而产生的影像都非常相似。无法表征现实中复杂的分布，进而降低分割性能。

本文希望解决这个问题。通过多对多的映射来保留CT与MR之间的复杂关系。具体而言，通过解耦合将原影像表征至content与style两个空间。其中content空间为不同模态共享的信息，包括组织结构信息，语义分割信息；而style空间则是表征模态特异的信息。本文是第一篇利用disentangled representation实现无监督模态转换来进行医学影像分割的。

Method

本方法 Domain Adaptation via Disentangled Representations（DADR）包含两个模块，Disentangled Representation Learning Module (DRLModule) 和Segmentation Module (SegModule)

DRLModule

包含VAE及GAN。VAE部分：in-domain重建；GAN部分：cross-domain转换。

各部分loss如下：

VAE部分没有KL loss，那只能算AE

SegModule

用CT的content空间图像来训练分割网络，用MR的content空间图像来测试。

另外，也可以用CT以及MR的content同时训练，并在CT和MR的content上测试。

implement details

style code：长度为8的vector
content code： 64x64x256的特征图
style code经过mlp后生成仿射变换参数，作为生成器中AdaIN层 的参数。
生成content only影像时，就把AdaIN层 的参数设为默认值？

Experiments

数据：130例LiTS挑战赛的CT影像，20例私有的MRI影像。

results

1、CT训练，MR测试

2、CT、MR均为训练数据

3、多阶段MR