什么是配准

一、基础概念96

1.1 什么是配准

       图像配准是将两个或多个来自不同来源、在不同时间和角度拍摄的图像建立几何方面得对应关系的过程。

1.2 配准的原理

        图像配准的实现原理是：对两幅或多幅具有相似场景内容的图像建立变换模型，估计其变换参数，利用平移，旋转，及尺度缩放等相关图像处理，从而达到像素（体素）空间上的精准对齐，实现多幅图像变换到同一空间坐标系中。

        对应变换模型得数学公式可表示为:

        f（.）代表的是图像间的几何变换关系函数，G（.）代表待配准图像对间像素变换函数。

1.3 配准的目的

        配准的目的是：将两图中对应于空间同一位置的点一一对应起来，使得图像对中的共有场景信息达到最大程度匹配，为后续的图像融合，提供前提条件。

1.4 配准的流程

特征检测→特征匹配→转换模型估计→坐标变换与插值处理

      

二、主要应用领域

2.1 医学领域

        医学图像按图像维数分类，可分为2D/2D 2D/3D 3D/3D，2D/2D配准是指两个断层面间的配准。2D/3D 配准通常指空间图像和投影图像间的直接配准。3D/3D是指两幅三维空间图像的配准。

2.1.1 3D/3D配准应用

        

图2-1

图2-2

如图2-1.图2-2所示的肺部树状结构，源图像与目标图像见具有较大的形变差距，而且由于细小部位的复杂形变较多，如果直接整图缩放或旋转使两幅图像的外轮廓匹配就进行融合，就会出现内部细节信息混乱，所以需要先对两幅图像做配准处理。

2.1.2 2D/3D配准应用（影像引导手术）

        在医学手术这一工作中，手术前期，需要在术前对于操作部位，或病变部位的组织，进行3D图像获取，对这个高分辨率的3D图像进行标注，确认手术部位，以及各组织的位置，而在手术过程中，要对术中情况进行低分辨率2D照片获取，并与之前的3D图像进行配准，建立2D与3D图像的联系，以此指导手术。

        参考论文题目是《VoxelMorph: A Learning Framework forDeformable Medical Image Registration》（《VoxelMorph一个可变性医学图像配准的学习架构》）

2.1.3 2D/2D配准应用

        应用于相同或不同断层扫描数据的不同片层之间的配准，例如将同一病人在不同时间拍摄的CT图像进行配准，为了分析病原的变化情况。

2.2 遥感图像

        配准在遥感图像上的应用包括对自然灾害的处理，长时间跨度的气候变化评估，预测农作物产量，确定可耕地资源、矿产资源、水资源的范围，环境污染监测，人类活动对地球生态系统的影响等，所有这些都涉及长期监测地球表面。将遥感图像进行精确的配准对于基础科学研究等是非常重要的，是将这些来自卫星、航空、以及地面不同来源的数据进行融合的首要前提条件。

图2-3 遥感图像配准

 

2.3 火灾识别

        图像配准在火灾识别方面的应用，主要是将火灾的红外图像与可见光图像进行配准，然后融合，结合两幅不同源的图像所包含的不同信息，发现火源位置。

图2-4 可见光图像

图2-5 红外图像

三、核心技术

图3-1

传统特征匹配方法，是由专家手动选择特征，而目前得研究方向都是自动特征检测，如图3-1所示，自动检测特征配准方法可分为三类。

1.基于区域的方法不进行显著特征检测，直接将预定义大小的窗口甚至是整幅图像作为特征用于特征匹配步骤，所以严格来说称不上是特征检测。

2. 基于特征的方法提取图像中的显著特征，比如重要区域（森林、湖泊、田野），线（区域边界、海岸线、道路、河流），点（区域拐点，线段交叉点，高曲率曲线上的点）等。与基于区域的方法相比，基于特征的方法不直接处理图像强度值，而是使用了更高级的特征信息。这样做有利于适应光照改变或多源设备分析的情况。

3. 基于深度学习的配准方法是目前最多人使用得方法，根据需求构建不同的神经网络，设置好参数，将待配准图片输入神经网络，预测转换参数，可以直接得出配准后得图像。
 

四、重点文献及文献讲解