halcon图像拼接

halcon图像拼接技术-工业视觉/halcon-少有人走的路

一、简介

最近做的一个项目要做图像拼接，那么什么是图像拼接呢？

图像拼接技术就是针对同一场景的一系列图片，根据图片的特征，比如位置，重叠部分等，拼接成一张大幅的宽视角的图像。

图像拼接要求拼接后图像最大程度的与原图一致，失真尽可能的小，并且要尽量做到天衣无缝即没有明显的拼接线或其他拼接痕迹

图像拼接不能损失原始图像信息

为达到以上目标，图像拼接要求具备以下条件：

1：图像应具有一定的特征性能，拼接正是通过这些特征来进行的。

2：图像需要具有重叠部分，一般情况下，这些重叠部分点图像的1/4以上较为合理。

3、图像的背景亮度差异不能太大，应该低于10个灰度值，否则难以拼接成功。

4、图像的方位差异不能太大，图像应该来源同一方位。

5、拼合边界过渡应平滑，以消除接拼痕迹

二、拼接的流程

图像的预处理

图像拼接前，根据图像情况，可以进行图像预处理，主要是对图像进行校正和噪声滤波

1、矫正

根据图像失真的原因，建立相应的校正模型，将失真的图像矫正过来

2、噪声滤波

噪声在图像中的分类  a、椒盐噪声： 位置随机，幅度值基本上相同     b、均匀噪声： 幅度值随机，但是每个点基本上都有。

对于噪声的处理方法有下：

（1）、均值滤波： 用一个模板（3*3或者5*5等）与图像中的每个像素做卷积

（2）、中值滤波：是一种非线性平滑，原理比较简单

图像配比：

包含以下几个要素

1、选择特征空间

特征空间是由不参与匹配的图像特征构成，特征可以为图像的灰度特征，也可以是边界，轮廓、以及显著特征（角点，线交叉点、高曲率），统计特征（矩，中心矩）---配准的空间的范围

2、相似度

评估待匹配的特性之间的相似性，它通常定义为某种代价函数或者距离函数。

3、搜索空间   

待估计参数组成的空间叫做搜索空间。也就是说，搜索空间是值所有可能的变换组成的空间。其实就是定义算法的空间复杂度。

4、搜索的策略

用合适的方法在搜索空间中找出平移、旋转等变化参数的最佳估计，使的相似达到最大值，也就是定义了搜索算法的时间复杂度

**拼接的方法**

1、基于区域的配准方法

        采用拼接图像的灰度值检测，对待配准图中的区域与参考图像中的相机尺寸的区域使用最小二乘法或者其他的数据统计方法计算灰度值的差异，对差异比较后判断待拼图重叠的相似度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像的拼接，也可以通过FFT变换将图像由时域变换到频域，然后在进行配准，对位移量比较大的图像进行旋转，然后建立两符图像之间的映射关系。

2、基于特征的配准方法

      不直接利用图像的像素，而是通过像素值导出图像内容最抽象的描述和符号特征，并用这个描述和符号做为特征，以此做为匹配的模板，通过高斯模糊过滤，把几幅待配准图像的灰度局总最大值，边界边缘轮廓，边缘点，边缘线段，组织（纹理）结构，角、项点，拐点，交叉点，封闭曲线低级对应特征点及利用特征图像关系图等高级特征，构造方程组，通过数值计算得到变换数来进行图像对齐，进而确定两者的匹配位置，实现特征点，特征线等拼接，并且可以提高运算速度。

基于特征的接拼方法，分为四个步骤

1、特征检测：从图像中检测出显著且独特的图像特征，诸如：闭合区域，直线段，边缘，轮廓，点等。

2、特征匹配：从相似度确定图像之间特征的对应关系，又分为如下几类：

     2.1：使用空域关系的方法

     2.2：使用不变描述符的方法

     2.3:松弛方法

     2.4:金字塔和小波方法

3、变换模型的估计：变换函数选择和函数参数估计

4、图像变换和重采样：可以通过前向或后向的方式来实现，插值的方法有最近邻插值、双线性插值、双三次函数插值、二次样条插值、三次B样条插值、高阶B样条插值。

基于特征的方法普遍适用于局部结构信息更显著的情况，能够处理图像之间复杂变形的情况，不足之处是特征检测困难且不稳定，最关键的一点是需要有一种判断力很强的、鲁棒性能好的且对图像之间变化保持不变的特征匹配算法。

项目中用的图像拼接的方法：

项目实战四 图像拼接_Σίσυφος1900的博客-CSDN博客