基于深度学习的医学图像配准笔记

本文是基于深度学习的医学图像配准相关知识的笔记，不设计到传统的方法，也不涉及具体模型。

一、简介

在对同一物体进行医学成像时，由于设备差异、成像角度差异等因素，所以图像可能只能反应物体某个方面的特征。比如，MRI 对软组织成像效果较好，而 CT 对骨骼等成像效果较好。如果想结合两张不同的医学图像的信息进行诊断，就需要丰富的经验。也可以让其中一张图片做变换，使其与另一张图像对齐，然后在得到一张融合了两张图像特征的融合图像。

上述图像对齐的过程就是配准，在配准中保持不变的图像被称为参考图像（fixed image/reference image），而做变换的图像被称为浮动图像（moving image）。图像配准常为图像融合的一个预处理步骤。

具体地说，通过寻找一种空间变换把浮动图像映射到参考图像上，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。

二、分类

上图是知乎博主白小鱼给出的根据不同分类方式的图像配准分类，下面稍微解释下里面的名词：

• 多视图配准：同一物体在同一场景不同视角下的图像配准；
• 多时相配准：同一物体在同一场景同视角不同时间的图像配准；
• 多模态配准：图像来自于多个成像设备，在 MRI 中 T1权重图像和 T2 权重图像也被看作是多模态的；
• 内部特征：从图像内部本身提取的信息；
• 外部特征：在医学图像中，通过在患者身上固定标记物或向体内注入显影物质以获得在图像上的确定的标记点。

---

近些年来，使用神经网络进行图像配准的文章可以大体分为两类：

• 利用深度学习网络估计两幅图像的相似性度量，驱动迭代优化；
• 直接利用深度回归网络预测转换参数。

前者只利用了深度学习进行相似性度量，仍然需要传统配准方法进行迭代优化，没有充分发挥深度学习的优势，花费时间长，难以实现实时配准。

---

当前用于配准的深度学习模型主要有四类：

• 卷积神经网络：最常见，最普遍；
• 循环神经网络：目前的研究较少；
• 强化学习：不懂，略；
• 生成对抗网络：目前已有一定数量的论文出现，可能是下一步的研究热点。

三、配准流程

配准的方法是由特征空间（特征信息范围）、搜索空间（变换方式及范围）、搜索算法（变换方法及参数）和相似性测度四个不同方面的组合。配准的基本步骤如下：

• 特征的提取：选取合适的特征来确定图像的几何变换，如边界和特征点等；
• 确定几何变换：几何变换就是将一幅图像中的坐标点变换到另一幅图像的坐标系中。变换有线性和非线性变换两种。线性变换又包括刚体变换、仿射变换、投影变换等。刚体变换后后物体内部任意两点之间的距离不变，可分为旋转和平移两种；
• 寻优：通过调整变换的参数使得浮动图像和参考图像之间的相似度最优，从而求解出变换模型中的未知参数；
• 执行变换：将确定好的变换应用在浮动图像上。

四、评价指标

目前没有一个绝对的金标准（gold standard）可以评估图像配准的质量，下面仅以医学图像为例，列举两种最经典的评估方法：

• 单模图像配准常使用相关系数（Correlation Coefficient, CC）来衡量；
• 多模图像配准常使用互信息（Mutual Information, MI）来衡量。

也常使用图像分割领域的 DICE 损失，熵相关系数（Entropy Corrleation Coefficient，ECC）等指标进行评估。

五、有监督配准

图像配准根据使用的深度学习的种类划分，可以划分为基于监督学习的配准与基于非监督学习的配准两大类。

基于监督学习的配准，也就是在训练学习网络时，需要提供与配准对相对应的真实变形场（即Ground Truth）。标签的获取有两种方式：

• 利用传统的经典配准方法进行配准，得到的变形场作为标签；
• 对原始图像进行模拟变形，将原始图像作为参考图像，变形图像作为浮动图像，模拟变形场作为标签 。

训练时通常先以两幅图像对应坐标为中心点进行切块，将图像块输入深度学习网络，网络输出为图像块中心点对应的变形向量（Deformation Vector）。在测试阶段，对待配准图像对进行采样，输入网络，把预测的变形向量综合成变形场，再利用预测的变形场对移动图像进行插值，即得配准图像。

六、无监督配准

基于非监督学习的配准方法就是在训练学习网络时，只需要提供配准对，不需要标签（即真实的变形场）。在训练时，基于非监督学习的配准将图像对输入网络，获得变形场，对浮动图像进行变形插值，即得配准图像。并利用变形后的图像与参考图像计算损失函数值，对其进行反向传播，不断优化，使得损失函数值最小。

关于输出，基于监督学习的配准方法往往输出的是变形向量，而基于非监督学习的方法输出的为变形图像。