PnP-AdaNet学习笔记

说明：12月19日 2018 CVPR

作者：窦琪，欧阳程，陈程，陈浩，本格洛克，庄霞海，衡鹏安

题目：PnP-AdaNet：即插即用的对抗性域自适应网络与跨模式心脏分割的基准

数据集：MICCAI 2017多模态全心分割（MM-WHS）的挑战提供了20幅MRI和20幅CT心脏图像，并提供了精确的人工分割注释 公开数据集(MMWHS)
MMWHS-是一个全心脏分割的工作，一共是8类，数据集的具体信息和下载链接，可以参考：Multi-Modality Whole Heart Segmentation Challenge (fudan.edu.cn)
下面的这个链接是看的一个github，是关于对于该数据集他之前做的一些工作：Xavier-cvpr/MMWHS: 完成的心脏分割工作，欢迎大家star (github.com)
评价指标：DICE系数[%]和对称平均曲面距离(ASD)[体素]
消融实验：对Pnp-AdaNet构型的消融研究

具体来说，我们通过调整两个关键属性来观察域自适应性能：i）平衡这两个鉴别器DM和DF的比率，ii)输入到特征鉴别器的选定层级别。

创新：域自适应模块灵活地取代了源网络的早期编码器层，并且更高的层在域之间共享 对抗性学习

网络框架：

概述我们提出的PNP-ADANET（即插即用对抗域自适应网络），包括一个源分割网络，一个域自适应模块(DAM)和两个鉴别器（特征域鉴别器与掩码域鉴别器）。 多级激活和预测分割掩码被聚合用于潜在特征空间的对齐。 域路由器用于测试。 它选择哪一组早期层连接到更高的层进行分割任务。 具体来说，在测试源数据时，选择使用原始源早期层； 在测试目标数据时，它选择使用DAM层。

损失函数：

通过最小化由多类交叉熵损失和DICE系数损失组成的混合损失LSEG来优化源域分割网络。

分割损失

在对抗学习中，DAM是与具有上述两个鉴别器的对手对抗的。 第一个鉴别器用高维特征作为输入的DF表示，第二个鉴别器用紧凑预测的分割掩码作为输入的DM表示。

通过对抗性损失函数对生成器M(DAM)和鉴别器{DF,DS}进行联合优化。

对抗损失

具体来说，生成器DAM的损失是：

学习鉴别器DF和DM的损失是：

性能分析：

不同 CT 图像分割方法的结果。每一行呈现一个典型的例子，从左到右: (a)原始 ct 图像(b)地面真相标签©对 ct (d)进行监督训练直接应用核磁共振分段器对 ct 数据(e) dann (f)结果的结果(g)我们提出的 pnp-adanet 的结果。以黄色、红色、绿色和蓝色分别表示 AA、 la-blood、 lv-blood 和 lv-myo 的结构。
除了以前的工作之外，还实现了几种流行于无监督领域适应的最先进的方法。 对所有方法使用了相同的DataSet和Segmenter体系结构设置，并引入了一个基准测试。