论文:Generative adversarial network in medical imaging: A review
这篇文章发表于顶刊Medical Imaging Analysis 2019上，文章细数了GAN应用于医学图像的七大领域——重建（图像去噪）、合成、分割、分类、检测、配准和其他工作，并介绍了包括医学图像数据集、度量指标等内容，并对未来工作做出展望。由于笔者研究方向之故，本博客暂时只关注重建、合成部分的应用。关于该论文中所有列出的文章，均可在 GitHub链接中找到。
医学图像的应用
GAN在医学成像中通常有两种使用方式。第一个重点是生成方面，可以帮助探索和发现训练数据的基础结构以及学习生成新图像。此属性使GAN在应对数据短缺和患者隐私方面非常有前途。第二个重点是判别方面，其中辨别器D可以被视为正常图像的先验知识，因此在呈现异常图像时可以将其用作正则器或检测器。示例(a)，(b)，(c)，(d)，(e)，(f)侧重于生成方面，而示例 (g) 利用了区分性方面。下面我们看一下应用到分割领域的文章。
(a)左侧显示被噪声污染的低剂量CT，右侧显示降噪的CT，该CT很好地保留了肝脏中的低对比度区域[1]。 (b)左侧显示MR图像，右侧显示合成的相应CT。在生成的CT图像中很好地描绘了骨骼结构[2]。 (c)生成的视网膜眼底图像具有如左血管图所示的确切血管结构[3]。(d)随机噪声（恶性和良性的混合物）随机产生的皮肤病变[4]。 (e)成人胸部X光片的器官（肺和心脏）分割实例。肺和心脏的形状受对抗性损失的调节[5]。 (f)第三列显示了在SWI序列上经过域调整的脑病变分割结果，无需经过相应的手动注释训练[6]。 (g) 视网膜光学相干断层扫描图像的异常检测[7]。
分割
通常，研究人员使用像像素或逐像素损失（例如交叉熵）进行分割。尽管使用了U-net来组合低级和高级功能，但不能保证最终分割图的空间一致性。传统上，通常采用条件随机场（CRF）和图割方法通过结合空间相关性来进行细分。它们的局限性在于，它们仅考虑可能在低对比度区域中导致严重边界泄漏的 pair-wise potentials (二元势函数 -- CRF术语)。另一方面，鉴别器引入的对抗性损失可以考虑到高阶势能。在这种情况下，鉴别器可被视为形状调节器。当感兴趣的对象具有紧凑的形状时，例如物体，这种正则化效果更加显着。用于肺和心脏mask，但对诸如血管和导管等可变形物体的用处较小。这种调节效果还可以应用于分割器(生成器)的内部特征，以实现域（不同的扫描仪，成像协议，模态）的不变性[8、9]。对抗性损失也可以看作是f分割网络（生成器）的输出和 Ground Truth 之间的自适应学习相似性度量。因此，判别网络不是在像素域中测量相似度，而是将输入投影到低维流形并在那里测量相似度。这个想法类似于感知损失。不同之处在于，感知损失是根据自然图像上的预训练分类网络计算而来的，而对抗损失则是根据在生成器演变过程中经过自适应训练的网络计算的。
[10] 在鉴别器中使用了多尺度L1损失，其中比较了来自不同深度的特征。事实证明，这可以有效地对分割图执行多尺度的空间约束，并且系统在BRATS 13和15挑战中达到了最先进的性能。[11] 建议在分割管道中同时使用带注释的图像和未带注释的图像。带注释的图像的使用方式与 [10] 中的相同。 [10] 和 [12] ，同时应用了基于元素的损失和对抗性损失。另一方面，未注释的图像仅用于计算分割图以混淆鉴别器。 [13] 将pix2pix与ACGAN结合使用以分割不同细胞类型的荧光显微镜图像。他们发现，辅助分类器分支的引入为区分器和细分器提供了调节。
这些前述的分割训练中采用对抗训练来确保最终分割图上更高阶结构的一致性，与之不同的是，[14]--code 中的对抗训练方案,将网络不变性强加给训练样本的小扰动，以减少小数据集的过度拟合。表中总结了与医学图像分割有关的论文。
| 文章 | 数据 | 备注 |
|---|---|---|
| CT | ||
| [15] | - | [3D] [Liver] Generator本质上是一个具有深层监督的U-net |
| [16] | 全心分割 CT, MR | 确保来自两个域（MR和CT）的图像的特征分布是无法区分的 |
| [17] | LiTS 2017 CT | 额外的细化网络，patient-wise batchNorm，循环cGAN以确保时间一致性 |
| [18] | 定位和识别椎骨 CT | 基于EBGAN的对抗训练；蝴蝶形状网络结合了两种观点 |
| MR | ||
| [10] | BRATS2013 MR 脑部胶质瘤分割 BRATS2015 MR 脑部胶质瘤分割 | 级联的cGAN分割心肌和血池 |
| [19] | BRATS2017 脑胶质瘤分割，总体生存预测 | 生成器执行BRATS 17挑战所提供的各种对比度的异质MR扫描 |
| [20] | MAL 脑结构分割 、 BRATS2013 脑部胶质瘤分割 | |
| [21] | - | [前列腺]提高敏感性 |
| [22] | - | [脾脏]具有大感受野的全局卷积网络（GCN）作为生成器 |
| [23] | - | 调节学习的表示，以使特征表示的领域不变 |
| [9] | 全心分割 CT, MR | 确保来自两个域（MR和CT）的图像的特征分布是无法区分的 |
| [24] | - | 生成器中的本地LSTM捕获相邻结构之间的空间相关性 |
| [25] | 阿尔茨海默氏病神经影像学 MR, PET | 深度监督；基于从预训练网络中提取的特征来区分分割图 |
| 视网膜眼底成像 | ||
| [26] | DRIVE 眼底血管分割 、 STARE 视网膜的结构分析 | 深度架构更适合于辨别整个图像，并且具有精细容器的假阳性更少 |
| [11] | 结肠腺体分割 | 在分割管道中同时使用带注释的图像和未带注释的图像 |
| 其他 | ||
| [27] | HEp-2细胞分类、 HEp-2细胞分割 | pix2pix + ACGAN;辅助分类器分支为分类器和分割器提供调节 |
| [28] | 皮肤病变分析 | 对抗训练有助于提高边界精度 |
| [29] | 乳房分割、 乳房分割 | 将网络不变性强加给训练样本的小扰动，以减少小尺寸数据集的过度拟合 |
参考链接：
[1] X. Yi, P. Babyn. Sharpness-aware low-dose ct denoising using conditional generative adversarial network. J. Digit. Imaging (2018), pp. 1-15
[2] J.M. Wolterink, A.M. Dinkla, M.H. Savenije, P.R. Seevinck, C.A. van den Berg, I. Išgum. Deep MR to CT synthesis using unpaired data International Workshop on Simulation and Synthesis in Medical Imaging, Springer (2017), pp. 14-23
[3] P. Costa, A. Galdran, M.I. Meyer, M. Niemeijer, M. Abràmoff, A.M. Mendonça, A. Campilho. End-to-end adversarial retinal image synthesis IEEE Trans. Med. Imaging(2017)
[4] Yi, X., Walia, E., Babyn, P., 2018. Unsupervised and semi-supervised learning with categorical generative adversarial networks assisted by Wasserstein distance for dermoscopy image classification. arXiv:1804.03700.
[5] Dai, W., Doyle, J., Liang, X., Zhang, H., Dong, N., Li, Y., Xing, E.P., 2017b. Scan: structure correcting adversarial network for chest x-rays organ segmentation. arXiv:1703.08770.
[6] K. Kamnitsas, C. Baumgartner, C. Ledig, V. Newcombe, J. Simpson, A. Kane, D. Menon, A. Nori, A. Criminisi, D. Rueckert, et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 597-609
[7] T. Schlegl, P. Seeböck, S.M. Waldstein, U. Schmidt-Erfurth, G. Langs Unsupervised anomaly detection with generative adversarial networks to guide marker discovery International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 146-157
[8] K. Kamnitsas, C. Baumgartner, C. Ledig, V. Newcombe, J. Simpson, A. Kane, D. Menon, A. Nori, A. Criminisi, D. Rueckert, et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 597-609
[9] Dou, Q., Ouyang, C., Chen, C., Chen, H., Heng, P.-A., 2018. Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss. arXiv:1804.10916.
[10] Y. Xue, T. Xu, H. Zhang, L.R. Long, X. Huang Segan: adversarial network with multi-scale l 1 loss for medical image segmentation Neuroinformatics, 16 (3–4) (2018), pp. 383-392
[11] Y. Zhang, L. Yang, J. Chen, M. Fredericksen, D.P. Hughes, D.Z. Chen. Deep adversarial networks for biomedical image segmentation utilizing unannotated images International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2017), pp. 408-416
[12] Son, J., Park, S.J., Jung, K.-H., 2017. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. arXiv:1706.09318.
[13] Y. Li, L. Shen. CC-GAN: a robust transfer-learning framework for hep-2 specimen image segmentation IEEE Access, 6 (2018), pp. 14048-14058
[14] W. Zhu, X. Xiang, T.D. Tran, G.D. Hager, X. Xie. Adversarial deep structured nets for mass segmentation from mammograms 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), IEEE (2018)
[15] D. Yang, D. Xu, S.K. Zhou, B. Georgescu, M. Chen, S. Grbic, D. Metaxas, D. Comaniciu. Automatic liver segmentation using an adversarial image-to-image network International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2017), pp. 507-515
[16] Dou, Q., Ouyang, C., Chen, C., Chen, H., Heng, P.-A., 2018. Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss. arXiv:1804.10916.
[17] Rezaei, M., Yang, H., Meinel, C., 2018a. Conditional generative refinement adversarial networks for unbalanced medical image semantic segmentation. arXiv:1810.03871.
[18] A. Sekuboyina, M. Rempfler, J. Kukačka, G. Tetteh, A. Valentinitsch, J.S. Kirschke, B.H. Menze. Btrfly net: Vertebrae labelling with energy-based adversarial learning of local spine prior International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer, Cham (2018)
[19] M. Rezaei, K. Harmuth, W. Gierke, T. Kellermeier, M. Fischer, H. Yang, C. Meinel. A conditional adversarial network for semantic segmentation of brain tumor
International MICCAI Brainlesion Workshop, Springer (2017), pp. 241-252
[20] P. Moeskops, M. Veta, M.W. Lafarge, K.A. Eppenhof, J.P. Pluim. Adversarial training and dilated convolutions for brain MRI segmentation Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer (2017), pp. 56-64
[21] Kohl, S., Bonekamp, D., Schlemmer, H.-P., Yaqubi, K., Hohenfellner, M., Hadaschik, B., Radtke, J.-P., Maier-Hein, K., 2017. Adversarial networks for the detection of aggressive prostate cancer. arXiv:1702.08014.
[22]Y. Huo, Z. Xu, S. Bao, C. Bermudez, A.J. Plassard, J. Liu, Y. Yao, A. Assad, R.G. Abramson, B.A. Landman. Splenomegaly segmentation using global convolutional kernels and conditional generative adversarial networks Medical Imaging 2018: Image Processing, 10574, International Society for Optics and Photonics (2018), p. 1057409
[23]K. Kamnitsas, C. Baumgartner, C. Ledig, V. Newcombe, J. Simpson, A. Kane, D. Menon, A. Nori, A. Criminisi, D. Rueckert, et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks International Conference on Information Processing in Medical Imaging, Springer (2017), pp. 597-609
[24]Z. Han, B. Wei, A. Mercado, S. Leung, S. Li. Spine-GAN: semantic segmentation of multiple spinal structures Med. Image Anal., 50 (2018), pp. 23-35
[25]M. Zhao, L. Wang, J. Chen, D. Nie, Y. Cong, S. Ahmad, A. Ho, P. Yuan, S.H. Fung, H.H. Deng, et al. Craniomaxillofacial bony structures segmentation from MRI with deep-supervision adversarial learning International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2018), pp. 720-727
[26] Son, J., Park, S.J., Jung, K.-H., 2017. Retinal vessel segmentation in fundoscopic images with generative adversarial networks. arXiv:1706.09318.
[27]Y. Li, L. Shen. CC-GAN: a robust transfer-learning framework for hep-2 specimen image segmentation IEEE Access, 6 (2018), pp. 14048-14058
[28] S. Izadi, Z. Mirikharaji, J. Kawahara, G. Hamarneh. Generative adversarial networks to segment skin lesions Biomedical Imaging (ISBI 2018), 2018 IEEE 15th International Symposium on, IEEE (2018), pp. 881-884
Close
[29]W. Zhu, X. Xiang, T.D. Tran, G.D. Hager, X. Xie. Adversarial deep structured nets for mass segmentation from mammograms 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), IEEE (2018)