使用GAN实现可变形医学图像配准DEFORMABLE MEDICAL IMAGE REGISTRATION USING GENERATIVE ADVERSARIAL NETWORKS

题目 ：使用GAN实现可变形医学图像配准

传统的深度学习配准方法都采用迭代方法，作者采用GAN实现了一种端到端的多模态图像配准方法，消除了传统方法耗时的迭代直接生成有变形场的配准图像。
前人工作：
Sokooti et. al.[6]提出RegNet，它使用经过模拟变形训练的CNNs为一对单一模态图像生成位移向量场。
Vos et. al. [7][提出了一种可变形图像配准网络(dir - net)，它以一对固定图像和一对运动图像为输入，非迭代地输出变换后的图像。训练是完全无监督的，不像以前的方法，它没有经过已知配准转换的训练
前人工作中需要改进的地方：
1）使用空间对应的patches 来进行预测转换，但是在低对比度医学图像中寻找相应的patches是不容易的，可能会对配准任务产生不利影响
2）多模态配准由于其固有的寻找空间对应斑块的问题，使得其配准方法具有挑战性

3. 使用基于强度的代价函数限制了基于DL的图像配准框架的优势
   主要创新点：
   1）利用GANs进行多模态医学图像配准，可以恢复更复杂的变形范围
   2）损失函数的改进，加入VGG，SSIM损失和变形场可逆性（deformation field reversibility变形场可逆性，emmm感觉怪怪的）
   对于多模态配准，我们使用cGANs来保证生成的输出图像(即，转换后的浮动图像）与浮动图像具有相同的特征(强度分布)，而与参考图像(不同模态)具有相似的位置。可以通过在图像生成的损失函数中加入适当的约束来实现。此外，我们加强变形一致性，以获得真实的变形场。这可以防止不切实际的配准，并允许任何图像作为参考或浮动图像。不需要对网络进行再训练，就可以从不属于训练集的模式中注册新的测试图像对。

网络结构：

Fig. 1. (a) Generator Network; (b) Discriminator network. n64s1 denotes 64 feature maps (n) and stride (s) 1 for each convolutional layer.

生成网络：

配准后的图像为I_trans
待配准的图像为I_Flt
固定图像为I_Ref
I_trans 应该和I_Flt有相同的强度分布，和I_Ref有相同的结构信息
NMI(ITrans, IRef)表示IRef和IT rans之间的归一化互信息(NMI)（normalized mutual information）再多模态配准任务中常使用
SSIM(IT rans, IRef)表示结构相似度指标(SSIM)[13]，基于边缘分布等计算图像相似度
保证结构相似性
V GG(IT rans, IRef)是使用预训练V GG - 16网络的Relu 4 - 1层全部512个feature map的两幅图像之间的L2距离
VGG损失提高了鲁棒性，因为成本函数考虑了在不同尺度上捕获信息的多个特征映射

对抗损失

image.png

循环一致性损失

image.png

实验：

实验一：colour fundus images and fluorescein angiography (FA) images 彩色眼底图像和荧光素血管造影(FA)图像

评价标准：
registration error (ErrDef) ：应用变形场和恢复变形场之间的配准误差
95 percentile Hausdorff Distance (HD95)：配准前后95% Hausdorff距离
mean absolute surface distance(MAD)：配准前后的平均绝对表面距离
mean square error (MSE)：配准后的FA图像与原始未变形的FA图像对比。

表1。对比视网膜图像配准前后不同方法的平均性能。Time表示配准一个测试映像对所需的时间(以秒为单位)。

Fig. 2. Example results for retinal fundus and FA registration. (a) Color fundus image; (b) Original FA image; (c) ground truth difference image before simulated deformation; (d) Deformed FA image or the floating image; Difference image (e) before registration; after registration using (f) GANReg; (g) DIRNet; (f) Elastix .

实验二：心脏图像配准

Fig. 3. Example results for cardiac RV registration. Superimposed contours of the ground truth (red) and deformed segmentation mask of moving image (green): (a) before registration; after registration using (b) GANReg; (c) DIRNet; (d) Elastix.