针对基于深度学习的医学影像配准,检索了最新的(2020年)期刊论文,包含PR、TMI、MIA3个期刊,下面是浏览论文中的一些记录。
其中有两篇论文提供了代码。
解决的问题:Deformable brain MR image registration
方法的创新:this is the first work to simplify brain MR image registration by deep learning, instead of estimating deformation field directly.两条支路(Trajectory,彩色箭头)各自逐渐简化固定图像和浮动图像,使得支路末尾的两张图相似又简单,容易配准;生成简单图像后再用Demons算法对相邻的图像进行配准生成形变场(橙色箭头),最后的形变场是所有形变场的迭代。用到的神经网络是最原始的Unet,创新点在于配准思想——利用简化的图像进行配准。
实验的设置:在多个数据集上对比了 Demons和Syn
2.Training data independent image registration using generative adversarial networks and domain adaptation
解决的问题:基于深度学习的配准方法对训练数据的依赖问题,比如在大脑图像上训练出的模型不能配准眼底图像
方法的创新:用了GAN和域自适应做图像配准
实验的设置:X光、大脑MR、眼底图像上都做了实验,比如用在X光上训练的模型配准眼底图像。(这里的眼底图像事先做了预配准)
解决的问题:4D图像的运动追踪
方法的创新:提出了下图的网络架构:输入4D图像的patch,这个4D图像包含10个phase的3D图像,每个phase对应输入patch的1个通道;网络最终输出10*3(30)通道的形变场。网络分3步进行训练(对应下图从上往下的3条支路),每一步输入patch的分辨率逐渐升高,计算loss使用的形变场是当前step生成的形变场与之前step生成的形变场的叠加,从而实现a coarse-to-fine的配准。
实验的设置:3个公开数据集,包含31个4D图像,含肺的CT,左心室的MR。该方法需要对图像做预配准(如仿射配准)
Code:https://github.com/ToFec/OneShotImageRegistration
2.Progressively Trained Convolutional Neural Networks for Deformable Image Registration
解决的问题:基于深度学习的配准方法难以预测大偏移的形变场
方法的创新:提出了一种渐进式的(Progressively)网络训练方法,先利用低分辨率的图像训练深层网络,再利用更高分辨率的图像训练更浅层的网络。下图的网络层是从下往上训练出来的,核心思想和“One-Shot Learning for Deformable Medical Image Registration and Periodic Motion Tracking”是一样的——coarse-to-fine registration
实验的设置:来自3个公共数据集的肺部3D CT图像
3.Learning an Attention Model for Robust 2-D/3-D Registration Using Point-To-Plane Correspondences
解决的问题:rigid 2-D/3-D registration
方法的创新:略。(基于传统的配准方法,先提取的关键点,再基于关键点做的配准,本论文是另一篇论文的拓展)
4.Non-Rigid Respiratory Motion Estimation of Whole-Heart Coronary MR Images Using Unsupervised Deep Learning
解决的问题: Fast estimation of inter-bin 3D non-rigid respiratory motion fields for motion-corrected free-breathing CMRA(coronary magnetic resonance angiography)
方法的创新:
网络架构如下图,Unet+深监督
实验的设置:除了在仿真数据及真实数据集上验证外,对一些参数进行了分析。
5.Automatic Registration Between Dental Cone-Beam CT and Scanned Surface via Deep Pose Regression Neural Networks and Clustered Similarities(首尔大学)
To build a robust and automatic initial registration method, deep pose regression neural networks are applied in a reduced domain (i.e., two-dimensional image). Subsequently, fine registration is performed using optimal clusters.(2步配准,第一步用的深度学习)
In this work, we propose a theoretical framework based on maximum profile likelihood for pairwise and groupwise registration.
提出了一套理论可用于替代互信息。
2. ProsRegNet: A deep learning framework for registration of MRI and histopathology images of the prostate(斯坦福大学)
解决的问题:Registration of histopathology images from patients who had radical prostatectomy to pre-operative MRI allows such mapping of ground truth cancer labels onto MRI. 从而辅助医生看片子。
方法的创新:
整体框架
网络架构:采用CVPR2017一篇论文的网络,在回归的参数和loss上做了小的改进
实验的设置:和一个传统算法和一个深度学习算法(CVPR2017,网络架构相同那篇)进行了对比。
Code:https://github.com/pimed//ProsRegNet .
3.End-to-end multimodal image registration via reinforcement learning
https://www.sciencedirect.com/science/article/pii/S1361841520302425
4. Biomechanically constrained non-rigid MR-TRUS prostate registration using deep learning based 3D point cloud matching
解决的问题:non-rigid MR-TRUS image registration
方法的创新:利用点云匹配去配准图像
The registration framework consists of a convolutional neural networks (CNN) for MR prostate segmentation, a CNN for TRUS protate segmentation and a point-cloud based network for rapid 3D point cloud matching.
实验的设置:比较了2个方法,一个传统方法,一个CNN的方法
5.Difficulty-aware hierarchical convolutional neural networks for deformable registration of brain MR images(川大的学生,作者中有范敬凡,沈定刚)
6. Weakly-supervised learning of multi-modal features for regularised iterative descent in 3D image registration