2020-TMI-Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic

作者在论文中提到在生成图像空间的特征对齐。这块理解有点不清楚？

对于目标域到源域生成器（由E & U组成）生成的类源图像，作者添加一个附加任务至源判别器来区分所生成的图像/输入图像是从重建得到，还是从真实目标图像变化而来。如果判别器能成功地区分出生成图像的域，意味着所提取到的特征仍然包含域特征。为了确保特征域不变性，以下对抗损失被运用来监督特征提取的过程。

值得注意的是编码器E被鼓励提取域不变特征，通过从两个方面链接判别器。例如：分割预测和生成类源图像。通过低维度compact空间的对抗学习，在合成目标图像和真实目标图像之间的语义间隙可以被有效地处理。

auxiliary task 在代码中的体现：

 

作者添加一个附加任务至源判别器来区分所生成的图像/输入图像是从重建得到，还是从真实目标图像变化而来。

1. 如何通过代码实现附加任务对抗损失优化？

红色框和蓝色框内的代码形成对抗损失，实现生成器（E & U）生成与cycle_images_a更为相似的fake_images_a。

红色框和蓝色框内的代码的效果，对于生成器（E & U）对于输入图像images_b，输出结果更接近cycle_images_a。

2. 如何通过代码实现固定判别器的参数，优化生成器参数？或者固定生成器参数，优化判别器参数？

3 . SIFA 中AdapOutput论文【4】思想体现

【4】

作者的目的是让源域，目标域图像的分割预测彼此很靠近，（很靠近是什么意思？）作者使用两个域分割结果作为判别器的输入，区分输入来自源域还是目标域。

在目标域预测的对抗损失作用下，网络将的梯度从判别器D传播到分割网络中，鼓励分割网络G对目标域输入，输出与源域预测类似的分割分布（Segmentation Distribution）。

====================================================================================

【1】

该方法的关键特征是在图像和特征对齐之间共享编码器E。在图像对齐过程中，使用对抗损失和循环一致性损失，优化编码器E。该结构还收集判别器的反向传播梯度到特征对齐的梯度。在这些方面，特征编码器被安装在多任务学习场景中，这样，它能够呈现用于多种目的的通用和健壮的表示。不同的任务会给编码器带来互补的感应偏差，例如注重像素对应的循环重建，或者关注结构化语义。共享特征编码器设计有助于缓解（alleviate）用有限医学图像训练一个如此复杂的模型时候出现的过拟合问题（over-fitting problem）。

 

  作者以端到端的方式训练该联合框架。在训练迭代过程中，按照以下顺序：

来更新每个模块。首先，更新目标域的生成器，得到变化后的类目标域图像。接着，更显目标域判别器，区分类目标域图像和真实图像。然后，更新编码器以便从图像，中提取特征，紧接着更新分类器（分割器），解码器分别将所提取到的特征映射到分割结果，生成类源域图像。最后，更新判别器对其输入的域进行分类，以增强特征不变性。整个模型的损失函数如下所示：

在测试阶段，分割目标域图像的流程：。

网络结构设计：

的结构遵循CycleGAN的设计，由3个卷积层，9个残差块，2个反卷积层，紧接着一个卷积层得到生成图像。

解码器的结构：1一个卷积层，4个残差块，3个反卷积层，紧跟着1个卷积输出层。

所有的判别器的结构都遵循PatchGAN的设计，由5个卷积层组成，除了最后两个卷积层使用卷积步长1的卷积核，前4个卷积层使用卷积核大小为4x4，步长为2的卷积操作。前4个卷积层后面跟着一个instance normalization ,参数为0.2的Leaky ReLU。

作者在两个模态（MRI & CT）的腹部多器官分割，以及心脏亚结构分割任务中评估所提出的无监督域适应方法的有效性。

具体参考代码

实验设计：

为了说明域迁移（Domain shift）对分割的影响，作者首先获得没有域迁移方法，分割模型的下界。通过在有标签的源域上所学习到模型直接分割目标域图像。然后，用有标签的目标域图像训练分割模型，分割目标域图像，获得分割模型的上届。将本文的结果与上界，下界分割结果进行对比，验证所提出方法在减少由域迁移导致的严重的性能衰减的有效性。为了保持比较的一致性，分割结果的上界，下界由分割模型由，分类器组成。

数据集

MRI/ CT腹部多器官分割数据集组成，其中MRI数据集来自2019 ISBI CHAOS 【48】，CT数据集来自Multi-Atlas Labeling Beyond the Cranial Vault【49】。CT 数据集有30cases, MRI数据集有20cases。对于MRI, CT 数据集的预处理如下所示。其中每个模态的数据集的80%作为训练集，20% 作为测试集。

Multi Atlas 的数据标注的信息，脾对应标签1， 右肾对应2，依次对应。

实验结果分析：

CyCADA 和本文的方法SIFA，都利用了图像和特征对齐，相比较其他方法（只有一种对齐方法）获得了更好的分割结果。相比较于CyCADA, 本文的方法取得了卓越的性能，证明了我们的协同学习框架在释放图像和特征对齐的互利性方面的有效性。需要注意的是，在分割腹部CT数据，CyCADA的方法比特征对齐方法AdaOutput效果差，说明如何组合两种对齐进而有效地利用他们的优点，是很重要的。相比较单独使用对象对齐，或者特征对齐，使用作者所提出的协同学习策略，分割结果可以被进一步的提升。

讨论：

跨模态的无监督域适应的分割方法在心脏分割任务与有监督训练（带标注的目标域图像训练）所得到的分割性能上界的性能差异（performance gap）远远大于在腹部多器官分割任务与有监督训练所得到的分割性能上界的性能差异（performance gap）。作者认为这个结果来自两个方面。（1）心脏分割任务本身的难度高于腹部多器官分割，在心脏CT图像中LVC, MYO结构相比较周围的组织具有较低的对比度，同时很难从心脏的MRI图像中识别出来。（2）the cardiac dataset has various imaging quality with relatively poor quality for some data.心脏数据集不同的成像质量，某些数据的指向相对较差。例如，图3中最后一行的MRI心脏图像的成像质量劣于最后一行的MRI图像。因此，作者认为任务本身，还有心脏数据集中变化的数据质量提升了域迁移的困难。

对于腹部图像来说，从Dice以及ASD评估结果来说，作者所提出方法的分割结果和有监督训练上界结果很接近。这些表面无监督域适应是非常有前景的，具有实际的应用前景。

对于跨模态适应，一个重要的问题是适应是否是对称的。例如，是否可以从MRI适应到CT，并从CT适应到MRI。为了研究这一点，我们在MRI和CT图像之间对两个数据集进行双向域适配，这在目前的跨模态工作中还没有持续进行。本文的方法极大地改善了两个适应方向MRI到CT，CT到MRI的的分割性能。适应的难度是否取决于适应方向。在腹部图像多器官分割任务中，两个方向的适应性能一致地高于并接近有监督训练上界。表面域适应的难度可能更取决于分割任务而不是适应方向。

在未来，作者将探索在不平衡数据（）上无监督域适应，还有当有限的目标域数据可以利用的时候。

代码：

分割器，输出类别，需要手动调整，没有传入相关的分类类别数目参数。o_c8 shape : batch_size * 32 * 32 * 5

代码相关API 解释：

 tf.train.Coordinator https://blog.csdn.net/dcrmg/article/details/79780331

(2) 程序运行的时候，一直在加载数据训练，没有推出循环

由于tf.train.string_input_produer()中num_epochs参数没有设置。

https://blog.csdn.net/SweetSeven_/article/details/103727438

https://blog.csdn.net/dcrmg/article/details/79776876

参考文献：

【1】2020-TMI-Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation

[48] M. A. Selver, G. nal, O. Dicle, N. S. Gezer, M. Baris, S. Aslan et al., “Chaos-combined (ct-mr) healthy abdominal organ segmentation.” https://doi.org/10.5281/zenodo.3362844, 2019.

[49] B. Landman, Z. Xu, J. E. Iglesias, M. Styner, T. R. Langerak, and A. Klein, “Multi-atlas labeling beyond the cranial vault.”

https://www.synapse.org/Synapse:syn3193805/wiki/217789, 2017.

【4】2018_CVPR_Learning to Adapt Structured Output Space for Semantic Segmentation