论文阅读——Deformable Medical Image Registration Using Generative Adversarial Networks

基于GAN实现可变医学图像配准

from IBM Research 
ISBI2018

Abstract

常规的图像配准都采用迭代的方式，十分耗时。而近期深度学习技术可以在迭代中提取的深层特征进行图像配准。本文借助生成对抗网络从而避免了配准过程中耗时良久的迭代过程，直接生成配准后的图像。通过在GAN的损失函数中增加适当约束可以在一秒内生成精确的图像，在多模态的视网膜图像及心室MR图像中验证了本文方法的有效性。

Section I Introduction

图像配准是绝大多数医学图像分析的基础步骤，这方面的相关综述可参考[1]。传统的配准算法会通过计算损失函数的MSE来迭代梯度下降进行优化，但时间成本过于高昂，尤其是对于体素图像。本文则提出了端到端的深度学习方法，无需迭代步骤，而是通过GAN直接获得相应变形后的图像。




Related works





Wu[2]等人借助堆叠的自编码器来提取图像特征，并将提取到的特征用于传统的图像配准框架中；还有用增强学习的，但这些还需要借助传统的配准方法来生成转换后的图像。






Jaderberg[5]则引入了空间变换网络（STN）来对齐输入图像，但是它需要大量标注的样本，并不适合用于医学图像分析。







Sokooti等人则提出RegNet，用CNN来模拟变形训练从而产生一组单一模态图像下的位移向量；






Vos等人则是提出一种可变的图像配准网络-DIR-Net，以一组固定图像和一组运动图像作为输入，无需迭代就可以生成变换后的图像。






此外网络的训练完全是无监督模式，不需要你其他配准信息的参与。
虽然RegNet和DIRNet首次实现了一次就生成配准图像，但仍有以下不足：







（1）使用空间对应的patch来预测转换，而在地对比去的医学图像中寻找对应的patch十分具有挑战性，并且会影响配准的质量；






（2）这种寻找对应patch的方式还不适于多模态图像的配准
;






（3）DIRNet使用bspline进行空间变换限制了变形场的重建
;






（4）基于损失函数计算强度限制了深度学习框架进行图像配准的优势







为了克服以上问题，本文做了以下工作：








（1）使用GAN进行医学图像配准，这样可以恢复更加复杂的变形；








（2）改进了损失函数，增加了VGG,SSIM损失以及变形场的可逆性，从而使得生成的图像在一定变形程度内依旧是真实的。







本文的方法可以选取任意一张参考图像并且只经过一次传递就获得。

Section II Methods

GAN是深度学习生成模型的一种，可以生成多种类型的输出，通过生成网络与判别网络进行对抗训练学习训练数据的分布。GAN已经广泛用于图像超分辨率及图像变换（cGAN,cycGAN)。
在cGAN中，输入的除了随机噪声还有条件信息，需要图像对参与训练；CycleGAN虽然不需要图像对但要求变形场的一致性。








本文则利用了上述两种方法的优点，使用cGAN确保生成图像与floating image有相同的强度分布，同时与参考图像有相近的位置分布，这是通过在损失函数中加入适当约束实现的。此外通过增强变形一致性从而获得更加真实的形变场，有效防止了失真的配准还允许任意图像作为参考图或floating image。由于不需要对网络进行再训练，这样就可以从训练集外的图像作为新的测试图像。









Part A 配准图像的生成









配准图像用Itrans表示，









输入图像用Iflt,









固定的参考图像表示为Iref。











训练时需要成对的图像，且标注要对齐，比如眼底图像与荧光血管造影图像要完美的对齐。任意一种模态的图像都可以作为Iref。而Iflt是其他模态图像施加一定弹性形变得到的。
配准的目标就是从Iflt中获取与Iref对准的Itrans。施加各种变形可以：









（1）更加精确的衡量复原后的配准误差；









（2）确定Itrans与FA图像的相似程度。










生成网络将Iflt通过一个前馈的CNN生成Itrans，在Lsr损失函数中包含了内容损失确保Itrans保留内容特征和对抗损失。

其中
内容损失中NMI（Itrans,Iref）表示二者之间的归一化信息；
SSIM（Itrans,Iref）表示配准图与参考图的结构相似性
；VGG（Itrans,Iref）计算的则是经过预训练的VGG-16从ReLU4-1层引出的两幅图像的L2距离，由于考虑了不同尺度的特征信息，有助于提升鲁棒性。

损失函数确保了配准图像Itrans与待配准图像Iflt有相同的强度分布。

Fig 1(a)展示了生成网络的具体结构，可以看到使用了4个residual block，输出的结果出了配准图像G还有一个变形场；
判别网络相对简单，主要包含8层卷积，不同之处在于使用了LeakyReLU和跨步卷积，最终输出概率图谱。D主要用来衡量Itrans与Iref之间分布的相似性，以及生成的配准图像与参考图像变形场之间的误差。


Part B 变形一致性



CycleGAN在损失函数中加入了循环一致性损失，本文的两个域分别是Iflt以及Iref，其中G的方向是Iflt->Iref,F的方向是Iref->Iflt。
所以除了前一节的内容损失content loss，还有对抗损失和循环一致性损失，其中adversarial loss使得Itrans尽可能接近Iflt的分布，consistency loss确保Itrans在接近Iflt的基础上还接近Iref。



Adversarial Loss




Cycle Consistency Loss





Section III 实验结果分析

为了验证本文方法的有效性，在眼底图像和心脏图像上进行了测试。

框架：Pytorch,Tensorflow

GAN： Adam Optimizer


Part A Retinal Image


眼底图像配准结果
配准的图像是视网膜眼底彩图（Iref）和荧光素血管造影图像（FA,用以产生Iflt），图像尺寸：576x720,
配准的ground truth是通过Insight Toolkit获得，30幅图像中3张配准失效一张FA丢失，所以真正参与配准的由26张图像.并通过各种变换扩充到39000组图像对。



评价指标包括：




ErrDef:应用变形场与恢复变形场之间的配准误差





HD95：配准前后95%的Hausdorff距离






MAD：配准前后的平均表面绝对距离






MSE：配准前后图像的均方误差
.







Table I 展示了不同方法视网膜图像配准的对比，参与对比的由DIRNet,Elastix和GANcyc，time表示配准时间。





通过Fig2展示的可视化结果可以看到本文GANreg产恒的配准结果（f)与原图最为接近，最大程度上复原了血管的变形。
需要注意的是虽然视网膜图像是彩图但是FA是灰度图所以最后产生的配准图形也是灰度图。





Part B 心脏图像配准






心脏图像来源于Sunybrook cardiac 数据集，包含从同一MRI扫描仪上得到的45张MRI心室扫描图像，每次扫描厚度为8mm，图像规模256x256。
45张划分为：train:val:test = 15:15:15,
由专家标注左右心室等部位。






衡量指标依旧包括Dice系数、HD95，MAD等，与视网膜图像配准不同，视网膜图像探究的是对多模态图像的配准效果，心室图像则测试的是单一模态下的动态图像，将序列第一帧图像作为Iref后面的图像作为Iflt。


Table 2展示了心室图像的配准结果；Fig3中红色为专家分割的GT，绿色代表配准结果，可以看到依旧是本文的GAN reg配准效果最佳。

Part VI Conclusion

本文提出了基于GAN进行多模态医学图像配准的框架，可以更加快速、准确的进行配准且可以任意选择参考图像及浮动图像，本文的主要贡献在于借助GAN用于配准，联合使用条件损失与循环一致性损失获得更加真实、平滑的配准图像。实验结果表明本文的这种方法比传统的迭代配准效果要好。