Deep Learning Based Registration文章阅读(七)《CycleMorph: Cycle consistent unsupervised deformable image r

Deep Learning Based Registration文章阅读(七)

本次文献是MIA 2021年3.21号最新的文章《CycleMorph: Cycle consistent unsupervised deformable image registration》。本篇文章的网络名字沿用了VoxelMorph的格式，但是不是VoxelMorph团队做的。这篇文章的baseline沿用了VoxelMorph并加以改进，主要是引入了一个cycle consistent，这个约束类似于cycleGAN。测试的数据集主要是单模态，也有造影增强CT不同phase的“伪”多模态数据，这里说“伪”主要考虑是不同phase增强CT笔者感觉不如严格意义的CT/MRI等多模态数据差异大。CT不同phase的多模态图像如下图所示：

Motivation

这篇文章的创新点有两个：1、将image domain的cycle consistent引入deformation registration（这里强调image domain是因为2018有类似的flow domain的inverse-consistent被引入到deformable registration)，文中提到image domain的cycle consistency相比于类似的flow domain的consistency，可以有效避免离散误差（这里笔者的理解是，因为从flow domain到warped image domain还有一步三线性插值的操作，所以会有一定程度的误差；另外就是ICNet（inverse-consistent network）在估计inverse deformation fields的时候，也有grid sampling的操作，可能也会引入离散误差）。所以在image domain上做consistency比在flow domain上做可能更直接，误差可能会被修正。2、引入multi-scale的方式来减少memory的使用，注意这里的multi-scale不是像金字塔式的corse-to-fine；而是先global，再patch，其实patch起到的也是fine tune的作用。
注意：因为数据也用了CT多模态的数据，所以在motivation也提到了目前可能比较多的多模态配准都是基于GAN，GAN会引入图像内容的替换，丢失或者变形。

Framework

笔者认为上面框架的想法和cycleGAN的想法很像，就是通过两次warped，又得到了原来的图像，从而形成一个差的范数的loss，这与cycleGAN的想法也是一致的。

最终结合Multi-scale的框架如上图，先进行global的registration，再进行patch level的registration。
注意：在测试的时候，没有对moving image进行两次warped，因为经过一次warped操作可能会引入误差；而是把global和patch level的flow做了一个复合，注意在配准中flow的复合不是一个简单相加的过程，而是一个grid sampling的过程，然后在对复合的flow做一次warped操作。

Loss

loss的设置如上图。
registration loss就是local NCC：


cycle loss自然的想法是用2范数做一个MSE，但是这里用的是1范数，笔者在看一些cycle self-reconstruction的loss的时候几乎都使用的1范数。

indentity loss的形式如下，就是在movin image和fixed image是同一幅图像的时候，registration network不能改变图像的内容。

注：这篇文章的代码是在VoxelMorph上改的，文中提到，当不使用cycle以及identity loss的时候，就是VoxelMorph。

Dataset

之前看文章没怎么关注数据集，从这篇开始每一篇文章用的数据集都关注一下。本文用的数据集：
Radboud Faces Database (RaFD)：包括8种面部表情，67个人。以人为单位划分训练、验证、测试集。
OASIS-3：3D brain MR dataset, 1249张T1-weighted images。一般头部数据集会用FreeSurfer预处理去除头骨。OASIS-3
In-house multiphase liver CT dataset：由于每个3D数据的slices不同，用了一个U-net来对liver进行了分割，然后进行resize和归一化。

Evalution

face：SSIM和NMSE
brain: Dice
liver: TRE
共同指标：number of Jaccobian det < 0 in flow field

Results

结果中对比了目前几种方法：Elastix, SyN, ANTs, VoxelMorph, VoxelMorph-diff, ICNet，MS-DIRNet。笔者认为应该有一篇CVPR2020的文章也应该被比较，而且这篇与cycle-consistency的概念更像一些——《Fast Symmetric Diffeomorphic Image Registration with Convolutional Neural Networks》。
Face 结果： Table1是Fig7的定量，Table2是Fig8的定量



Brain结果：Table4是一个patch size的ablation study



Liver结果：Table6是一个loss的ablation study

Discussion

Fig13想说明registration loss收敛的水平差不多，CycleMorph效果好更多是cycle loss起的作用。

Table7想说明global和patch flow复合和直接相加的效果，但是从理论上就应该是复合。