TMI2021 :Adapt Everywhere: Unsupervised Adaptation of Point-Clouds and Entropy Minimization for Mult

语义分割论文

一、TMI2021 :Adapt Everywhere: Unsupervised Adaptation of Point-Clouds and Entropy Minimization for Multi-Modal Cardiac Image Segmentation

目录

语义分割论文

摘要

网络结构

---

摘要

深度学习模型对领域偏移现象非常敏感。在一个领域的图像上训练的模型不能很好地概括当测试从不同的领域的图像，尽管捕获了相似的解剖结构。这主要是因为两个域之间的数据分布不同。此外，为每个新模态创建注释是一项冗长而耗时的任务，而且还会受到观察者之间和观察者内部的高度可变性的影响。无监督域适应(UDA)方法旨在减少源域和目标域之间的差距，利用源域标记数据生成目标域的标签。然而，当前最先进的(SOTA) UDA方法在源和目标域数据不足时性能下降。本文提出了一种新的基于UDA的多模态心脏图像分割方法。该方法基于对抗性学习，在不同的空间中适应源目标域之间的网络特征。本文介绍了一个端到端框架，集成了:a)熵最小化，b)输出特征空间对齐和c)基于分割模型学习到的潜在特征的点云形状适应。我们在两个心脏数据集上验证了我们的方法，从注释源域bSSFP-MRI(平衡稳态自由进程- mri)，到未注释的目标域LGEMRI(晚期钆增强- mri)，用于多序列数据集;以及从MRI(源)到CT(目标)的跨模态数据集。结果表明，通过在网络的不同部分加强对抗学习，与其他SOTA方法相比，所提出的方法提供了很好的性能。

---

现有的UDA方法一般建议从三个角度对源和目标域分布进行对齐。

1. 第一类是图像级对齐，它使用图像到图像的转换模型[10]，[14]-[18]在域之间转换图像外观。
2. 第二类是特征对齐，通常通过对抗性学习[19]-[21]最小化域之间的特征距离来提取域不变特征。
3. 最近的第三类主要关注特征级和图像级信息[7]的对齐。

网络结构