2021-08-17-Deep MR to CT Synthesis using Unpaired Data(MICCAI Workshop 2017)-有代码
CycleGAN的代码链接：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
这篇文章是做什么的：MR模态合成CT模态
输入：单张图像
是否需要数据配准：不需要
是基于2D还是3D: sagittal 2D image slices(矢状二维图像切片)
---文章的motivation---
单独获取MRI或者CT图像具有耗时、昂贵、给患者带来负担的局限性。所以提出了合成的方法。当前MR到CT合成的深度学习方法依赖于同一患者的成对对齐的MR和CT训练图像。但是，成对图像之间的不对齐可能导致合成错误的CT图像，另外，获取成对数据具有一定的代价。为了解决这个问题，这篇文章提出训练一个具有不成对MR和CT图像的生成性对抗网络（GAN）。用循环一致性损失训练由两个合成卷积神经网络（CNN）和两个鉴别器CNN组成的GAN，将2D脑MR图像切片转换为2D脑CT图像切片，反之亦然。
---方法发展过程---
先前提出的方法使用卷积神经网络（CNN）在大脑[4]和骨盆区域(pelvic area)[8]进行CT合成。CNN通过最小化与输入MR图像严格对齐的参考CT体积的体素损失来训练。但是，MR和CT图像的轻微体素错位可能导致合成模糊图像。
为了解决这个问题，Nie等人[9]提出在生成性对抗网络（GAN）[3]中结合体素损失(voxel-wise loss)和图像对抗损失。
尽管Nie等人[9]的GAN方法通过结合图像对抗损失解决了图像不对齐问题，但它仍然包含体素损失，所以需要成对MR和CT的训练集。在实际应用中，这样的训练集可能很难获得。此外，鉴于训练数据的稀缺性(scarcity)，利用来自出于不同目的进行扫描的患者的额外MR或CT训练volumes可可以增加数据量。使用未配对的MR和CT训练数据将放宽当前基于深度学习的CT合成的许多要求（图1）。
在自然图像翻译领域，提出了用未配对的自然图像训练图像到图像翻译CNN，包括DualGAN[11]和CycleGAN[12]。该方法将图像从一个域转换到另一个域。训练期间的损失函数仅(solely )取决于由对抗性鉴别器网络确定的合成图像的总体质量。为了防止合成CNN生成看起来真实但与输入图像几乎没有相似性的图像，因此执行循环一致性。也就是说，训练额外的CNN以将合成图像翻译回原始域，并且在训练期间将此重建图像与原始图像之间的差异添加为正则化项(regularization term)。
基于这个想法，使用CycleGAN模型从脑MR图像合成脑CT图像。
---数据描述----
---方法---
方法框架图如下
模型包含正向循环和反向循环。
由三个单独的CNN组成。首先，SynCT将输入的MR图像IMR转换为CT图像。其次，SynMR将合成的CT图像SynCT（IMR）转换回MR图像。第三，训练网络DisCT以区分SynCT (IMR)和真实CT图像。这三个神经网络中的每一个都有不同的目标。DisCT旨在将合成CT图像与真实CT图像区分开来，而SynCT则试图通过合成无法与真实CT图像区分开来的图像来防止这种情况。这些图像应通过网络SynMR转换回MR域，以便尽可能准确地从SynCT（IMR）重建原始图像。
为了提高训练的稳定性，还训练了反向循环，将CT图像转换为MR图像，再转换回CT图像。对于合成，该模型使用相同的CNNs SynCT和SynMR。此外，它还包含一个鉴别器网络DisMR，旨在区分合成MR图像和真实MR图像。
鉴别器DisCT试图最小化
鉴别器DisMR旨在最小化
双向循环一致性损失定义为原始图像和重建图像之间的差异
--- 评价指标---
MAE
i是真实和合成的CT图像中对齐的体素
PSNR
MAE和PSNR是在排除任何周围空气的CT和MR中确定的头部区域mask内计算的
---实验和结果---
为了将非配对训练与传统配对训练进行比较，使用成对MR和CT图像切片训练与SynCT具有相同结构的额外合成CNN。与[9]一样，它将体素损失与来自判别网络的对抗损失相结合。该鉴别器网络具有与DisCT相同的体系结构。表1结果的配对t检验表明，使用该模型获得的图像与参考CT图像的一致性显著低于使用非配对模型获得的图像（p<0.05）。图5显示了使用未配对和成对训练数据获得的结果的视觉比较。使用成对训练数据获得的图像更模糊，颈部包含高强度伪影。
差分图像显示合成和真实CT图像之间的绝对误差。这种差异在软脑组织(soft brain tissue)中最不明显，而在骨骼结构中最为明显，如眼窝、脊椎和颌骨(the eye socket, the vertebrae and the jaw)。这可能部分是由于颈部区域(neck area)的图像质量降低以及MR图像和参考CT图像之间的错位。
图6显示出了MR图像、合成CT图像和重建MR图像。差分图(difference map)显示，尽管与原始图像存在误差，但误差非常小且分布均匀(homogeneously distributed)。相对差异在头部轮廓中最大，而空气中的强度值较低。
Q：为什么相对差异在头部轮廓中最大？
---结论---
本文提出了利用非成对数据的生成对抗网络学习MR到CT图像的合成，使用循环一致性损失约束正向循环网络和反向循环网络，使生成的图像映射回源图像来学习图像的语义表示。
[8]. Nie, D., Cao, X., Gao, Y., Wang, L., Shen, D.: Estimating ct image from MRI data using 3d fully convolutional networks. MICCAI 2016, Athens, Greece, October 21, 2016, Proceedings. pp. 170–178. Springer International Publishing, Cham (2016)
[9]. Nie, D., Trullo, R., Petitjean, C., Ruan, S., Shen, D.: Medical image synthesis with context-aware generative adversarial networks. arXiv preprint arXiv:1612.05362 (2016)
[11]. Yi, Z., Zhang, H., Gong, P.T., et al.: Dualgan: Unsupervised dual learning for image-to-image translation. arXiv preprint arXiv:1704.02510 (2017)
[12]. Zhu, J.Y., Park, T., Isola, P., Efros, A.A.: Unpaired image-to-image translation us- ing cycle-consistent adversarial networks. arXiv preprint arXiv:1703.10593 (2017)