基于深度学习的配准框架

传统通过迭代优化的图像配准框架：

moving image 将参照 fixed image 进行形变，在形变过程中可能会丢失像素，因此需要 Interpolator，即插值。可以用不同的插值方法对缺失的像素点进行恢复。接着，测量变换后的 moving image 和 fixed image 间相似性的标准叫 Metric，标准也有很多方法实现。对转化矩阵 Transform 进行形变，通过迭代更新 Optimizer 达到最优。

M和F的意义： 点击，仅适用于初学者理解

本文重点关注基于深度学习的图像配准框架，根据深度学习的类型分类监督学习和无监督学习。

基于监督学习的配准框架

上面是二维的例子：将两幅图像对应坐标点进行分块，将图像块输入深度神经网络，网络输出图像块中心点对应的变形向量，在测试阶段，对待配准图像进行采样，输入网络，把预测的变形向量综合成变形场，在利用预测的变形场对移动图像进行插值，及得到配准图像。
【分块】是指对运动图像和固定图像进行采样，已采样点为块中心，从图像中截取出来，在输入到神经网络当中。

1、下面是一个比较经典的全监督学习的单应性图像配准框架：

实线表示训练期间和测试期间的数据流，虚线仅仅表示训练期间的数据流。

• 说明：
  神经网络以运动图像和固定图像为输入，计算使移动图像弯曲和对齐到固定图像所需的仿射变换参数T，
  再使用真实值和预测值计算损失函数，不达标则反向传播更新网络参数
  使用ground truth作为监督标签，理论上无法突破ground truth的上限。
  在二维图像的情况下，参数有六个，控制旋转缩放平移剪切。
  【image resampler，图像重采样】

2、双重监督的图像配准框架：

• 说明：
  同时使用预测的真实变换和地面真实变换之间的相似度和扭曲图像和固定图像之间的相似度来监督训练网络。
  NCC（归一化互相关）：就是归一化待匹配目标之间的相似度，**注意：**比较的是原始像素。这里可查
  NMI（标准化互信息）：常用在聚类评估中，MI指的是互信息，指两个相同数据的两个标签之间的相似度。
  SSD（平方差之和）：数值越大匹配越差。这里可查

3、使用GAN的双重监督

• 说明：
  左边是生成器（Generator）
  右边是鉴别器（Discriminator）
  由生成器生成变换参数，鉴别器用来识别由真实值生成的图像和扭曲后的运动图像的真假，由此训练网络达到以假乱真的地步。
  双监督可以减少对金标准的依赖。

4、弱监督：

• 说明：
  利用扭曲后的标签和固定标签的相似度来训练网络，
  标签比较容易获取，往往比计算图像之间相似度要容易。
  弱监督常用来解决数据集规模小、数据标注困难的问题

无监督学习的配准框架

对于非监督学习的图像配准，将待配准图像输入网络得到变形场，对移动图像进行变形插值，得到配准图像。训练时，利用变形图像和固定图像求损失函数，堆砌反向传播不断优化，似的损失函数最小。

下面是几个比较经典的无监督学习图像配准框架

1、基于灰度值的无监督配准框架：

• 说明：
  使用扭曲后的运动图像和固定图像的相似度来训练网络
  无需标签

2、基于特征的无监督配准框架：

• 说明：使用学习到的特征来来训练神经网络
  使用了特征提取器将输入的图像映射到特征空间，以方便变换参数的预测

3、基于对抗网络的配准框架：

其他：
上述之中网络并非只能使用标准的卷积网，其实现实中已经有很多经典结构，比如说AlexNet，VGG，ResNet，GoogLeNet，ZFNet等。