论文阅读——Deformable Medical Image Registration Using Generative Adversarial Networks

基于GAN实现可变医学图像配准

from IBM Research 
ISBI2018

Abstract

常规的图像配准都采用迭代的方式,十分耗时。而近期深度学习技术可以在迭代中提取的深层特征进行图像配准。本文借助生成对抗网络从而避免了配准过程中耗时良久的迭代过程,直接生成配准后的图像。通过在GAN的损失函数中增加适当约束可以在一秒内生成精确的图像,在多模态的视网膜图像及心室MR图像中验证了本文方法的有效性。

Section I Introduction

图像配准是绝大多数医学图像分析的基础步骤,这方面的相关综述可参考[1]。传统的配准算法会通过计算损失函数的MSE来迭代梯度下降进行优化,但时间成本过于高昂,尤其是对于体素图像。本文则提出了端到端的深度学习方法,无需迭代步骤,而是通过GAN直接获得相应变形后的图像。




Related works





Wu[2]等人借助堆叠的自编码器来提取图像特征,并将提取到的特征用于传统的图像配准框架中;还有用增强学习的,但这些还需要借助传统的配准方法来生成转换后的图像。






Jaderberg[5]则引入了空间变换网络(STN)来对齐输入图像,但是它需要大量标注的样本,并不适合用于医学图像分析。







Sokooti等人则提出RegNet,用CNN来模拟变形训练从而产生一组单一模态图像下的位移向量;






Vos等人则是提出一种可变的图像配准网络-DIR-Net,以一组固定图像和一组运动图像作为输入,无需迭代就可以生成变换后的图像。






此外网络的训练完全是无监督模式,不需要你其他配准信息的参与。
虽然RegNet和DIRNet首次实现了一次就生成配准图像,但仍有以下不足:







(1)使用空间对应的patch来预测转换,而在地对比去的医学图像中寻找对应的patch十分具有挑战性,并且会影响配准的质量;






(2)这种寻找对应patch的方式还不适于多模态图像的配准
;






(3)DIRNet使用bspline进行空间变换限制了变形场的重建
;






(4)基于损失函数计算强度限制了深度学习框架进行图像配准的优势







为了克服以上问题,本文做了以下工作:








(1)使用GAN进行医学图像配准,这样可以恢复更加复杂的变形;








(2)改进了损失函数,增加了VGG,SSIM损失以及变形场的可逆性,从而使得生成的图像在一定变形程度内依旧是真实的。







本文的方法可以选取任意一张参考图像并且只经过一次传递就获得。

Section II Methods

GAN是深度学习生成模型的一种,可以生成多种类型的输出,通过生成网络与判别网络进行对抗训练学习训练数据的分布。GAN已经广泛用于图像超分辨率及图像变换(cGAN,cycGAN)。
在cGAN中,输入的除了随机噪声还有条件信息,需要图像对参与训练;CycleGAN虽然不需要图像对但要求变形场的一致性。








本文则利用了上述两种方法的优点,使用cGAN确保生成图像与floating image有相同的强度分布,同时与参考图像有相近的位置分布,这是通过在损失函数中加入适当约束实现的。此外通过增强变形一致性从而获得更加真实的形变场,有效防止了失真的配准还允许任意图像作为参考图或floating image。由于不需要对网络进行再训练,这样就可以从训练集外的图像作为新的测试图像。









Part A 配准图像的生成









配准图像用Itrans表示,









输入图像用Iflt,









固定的参考图像表示为Iref。









在这里插入图片描述

训练时需要成对的图像,且标注要对齐,比如眼底图像与荧光血管造影图像要完美的对齐。任意一种模态的图像都可以作为Iref。而Iflt是其他模态图像施加一定弹性形变得到的。
配准的目标就是从Iflt中获取与Iref对准的Itrans。施加各种变形可以:









(1)更加精确的衡量复原后的配准误差;









(2)确定Itrans与FA图像的相似程度。










生成网络将Iflt通过一个前馈的CNN生成Itrans,在Lsr损失函数中包含了内容损失确保Itrans保留内容特征和对抗损失。
在这里插入图片描述

其中
内容损失中NMI(Itrans,Iref)表示二者之间的归一化信息;
SSIM(Itrans,Iref)表示配准图与参考图的结构相似性
;VGG(Itrans,Iref)计算的则是经过预训练的VGG-16从ReLU4-1层引出的两幅图像的L2距离,由于考虑了不同尺度的特征信息,有助于提升鲁棒性。

损失函数确保了配准图像Itrans与待配准图像Iflt有相同的强度分布。
论文阅读——Deformable Medical Image Registration Using Generative Adversarial Networks_第1张图片

Fig 1(a)展示了生成网络的具体结构,可以看到使用了4个residual block,输出的结果出了配准图像G还有一个变形场;
判别网络相对简单,主要包含8层卷积,不同之处在于使用了LeakyReLU和跨步卷积,最终输出概率图谱。D主要用来衡量Itrans与Iref之间分布的相似性,以及生成的配准图像与参考图像变形场之间的误差。


Part B 变形一致性



CycleGAN在损失函数中加入了循环一致性损失,本文的两个域分别是Iflt以及Iref,其中G的方向是Iflt->Iref,F的方向是Iref->Iflt。
所以除了前一节的内容损失content loss,还有对抗损失和循环一致性损失,其中adversarial loss使得Itrans尽可能接近Iflt的分布,consistency loss确保Itrans在接近Iflt的基础上还接近Iref。



Adversarial Loss



在这里插入图片描述
Cycle Consistency Loss



在这里插入图片描述
在这里插入图片描述

Section III 实验结果分析

为了验证本文方法的有效性,在眼底图像和心脏图像上进行了测试。

框架:Pytorch,Tensorflow

GAN: Adam Optimizer


Part A Retinal Image


眼底图像配准结果
配准的图像是视网膜眼底彩图(Iref)和荧光素血管造影图像(FA,用以产生Iflt),图像尺寸:576x720,
配准的ground truth是通过Insight Toolkit获得,30幅图像中3张配准失效一张FA丢失,所以真正参与配准的由26张图像.并通过各种变换扩充到39000组图像对。



评价指标包括:




ErrDef:应用变形场与恢复变形场之间的配准误差





HD95:配准前后95%的Hausdorff距离






MAD:配准前后的平均表面绝对距离






MSE:配准前后图像的均方误差
.





论文阅读——Deformable Medical Image Registration Using Generative Adversarial Networks_第2张图片论文阅读——Deformable Medical Image Registration Using Generative Adversarial Networks_第3张图片

Table I 展示了不同方法视网膜图像配准的对比,参与对比的由DIRNet,Elastix和GANcyc,time表示配准时间。





通过Fig2展示的可视化结果可以看到本文GANreg产恒的配准结果(f)与原图最为接近,最大程度上复原了血管的变形。
需要注意的是虽然视网膜图像是彩图但是FA是灰度图所以最后产生的配准图形也是灰度图。





Part B 心脏图像配准





心脏图像来源于Sunybrook cardiac 数据集,包含从同一MRI扫描仪上得到的45张MRI心室扫描图像,每次扫描厚度为8mm,图像规模256x256。
45张划分为:train:val:test = 15:15:15,
由专家标注左右心室等部位。






衡量指标依旧包括Dice系数、HD95,MAD等,与视网膜图像配准不同,视网膜图像探究的是对多模态图像的配准效果,心室图像则测试的是单一模态下的动态图像,将序列第一帧图像作为Iref后面的图像作为Iflt。

论文阅读——Deformable Medical Image Registration Using Generative Adversarial Networks_第4张图片
论文阅读——Deformable Medical Image Registration Using Generative Adversarial Networks_第5张图片

Table 2展示了心室图像的配准结果;Fig3中红色为专家分割的GT,绿色代表配准结果,可以看到依旧是本文的GAN reg配准效果最佳。

Part VI Conclusion

本文提出了基于GAN进行多模态医学图像配准的框架,可以更加快速、准确的进行配准且可以任意选择参考图像及浮动图像,本文的主要贡献在于借助GAN用于配准,联合使用条件损失与循环一致性损失获得更加真实、平滑的配准图像。实验结果表明本文的这种方法比传统的迭代配准效果要好。

你可能感兴趣的:(CV,计算机视觉,神经网络,机器学习,算法)