机器人焊接的初始焊接位置的视觉识别

前言：

采用机器人立体视觉技术进行焊接机器人的初始焊接位置引导，首先要根据视觉传感器所采集的图像信息来识别焊缝，进而确定焊缝起始点在图像坐标中的位置，再结合一定的立体视觉模型或者伺服控制算法，实现对目标点的三维立体定位和控制。

目前，立体视觉系统中物体识别的基本方法是建立物体模型，然后使用各种匹配算法从真实的图像中识别出与物体模型最相似的物体。

根据物体识别任务所在的空间，常把物体识别分为二维物体识别和三维物体识别。可以认为，物体识别系统包括四个主要模块：模型库，特征检测器，假设生成和假设检验。

基于模板匹配技术的图像分割及目标识别方法，采用模板匹配技术实现对图像中目标的识别。

模板匹配的原理

---

焊缝区域的识别
针对图像中的物体识别方法很多，而基于模板匹配技术的方法是一种应用较广的识别方法。
在焊接领域，欲采用视觉传感器方法对初始焊缝位置的识别，为了提高识别的准确性及速度，首先需要在图像中识别焊缝，确定焊缝的区域，继而搜索识别焊缝的端点，即初始焊接位置。
处理的步骤：

• 图像预处理

  1. 在图像采集和传输过程中，不可避免地会混入噪声，使图像的质量降低，需要对图像进行去噪处理。另外，为了给后续的模板匹配创造有力的条件，需要预先增强图像中与模板相匹配的主要特征。
  2. 利用中值滤波消除随机噪声。通过中值滤波方法可以有效的消除图像中脉冲干扰及图像扫描噪声，并且可以克服线形滤波器的方法（如最小均方滤波，均值滤波等）所带来的使图像细节模糊的缺点。
  3. 根据图像特征，焊缝在图像中灰度值较低，表现为一条“黑线”。但是由于取像角度及光照条件的不同，不同图像中焊缝处及其宽度差别较大，影响了后续模板匹配的适用范围。通过采用对图像进行灰度腐蚀的方法可以增强焊缝处的特征，在腐蚀前需要对原图像进行备份，因为深度腐蚀会使图像中的一些细节信息丢失，但是对于焊缝的大致位置没有太大的影响，而对于提高匹配的成功率和准确率很有帮助，这种方法来实现对焊缝的“粗”定位。

• 金字塔型图像变分辨率表示
  一幅图像可以用多种不同的分辨率表示方法来表示，通过降低图像的分辨率（$M\ast N$）的方法可以降低数字图像阵列的尺寸。降低数字图像阵列的尺寸，虽然可能丢失一些信息，但是同时也可以降低对存储器容量及计算速度的要求。
  金字塔型的图像层级表示方法就是其中一种应用比较普遍的表示方法。
  顶层的图像表示为单一像素，而低层图像是原始图像或未被递减的图像。L层的图像是通过L+1图像的若干像素组合而成，某一层的一个像素表示上一层的几个像素的合成信息。
  例如：金字塔图像可以采用通过求上一层图像的2*2领域的均值得到

• 分层搜索匹配算法
  根据模板匹配的基本原理可知，任何一种模板匹配的总计算量都是采用的相关算法的计算量与搜索未知数之积：$总计算量=（相关算法计算量）\times (搜索位置数)$。降低分辨率，使得匹配的搜索位置数大大减小。

  1. 对原始待匹配的图像f和模板w都进行降低分辨率处理得到f1和模板w1。
  2. 第一次相关搜索是从分辨率较低和维数较小的一对图像（$f_1和w_1$）开始。为了找到所有可能的粗匹配位置，将$w_1$在$f_1$的所有位置进行相关搜索，并确定粗匹配位置（$u_1$，$v_1$）。因为这时的$w_1$和$f_1$维数较小，所以计算量较少，搜索过程很快，会产生若干个粗匹配位置。
  3. 第二次相关搜索是在较高分辨率和较大维数的图像f和w之间进行。这时已经知道了可能的粗匹配位置，所以w只需要在f的粗匹配位置附近进行相关搜索即可，这样就可以找出一个或几个可能性更大的细匹配位置（u，v）。
     采用分层搜索匹配法分别对直线焊缝，S型焊缝和角焊缝进行匹配。

焊缝区域的识别

---

• 在寻找焊缝区域的分层搜索匹配方法是在整幅图像进行的，称之为全局匹配过程，而动态区域的匹配方法是在图像的局部区域内进行的，称之为局部匹配。
• 根据全局匹配的结果，以全局匹配所获得的焊缝区域为局部搜索区域，以其中像素坐标值Y值最大的匹配点为局部搜索的起点，以焊缝的大致方向作为搜索方向的初值。

图像特征跟踪算法研究（不同于模板匹配）

---

• 该方法不同于前面介绍的模板匹配算法，它是确定视觉伺服过程中的图像特征之后，对这些特征的匹配跟踪，最后找到所需要的目标。
• 目的：图像数据作为输入完成诸如定位，匹配或运动目标跟踪等机器人学范畴的任务。
• 任务：跟踪在图像序列中感兴趣物体的二维投影特征，需要设计一种对多面体形状物体进行二维跟踪的算法。

特征概述：
特征尺度定义

1. 单一物体图像的面积
2. 一个物体在图像中的（p+q）阶矩
3. 一个图像以角$\theta$投影到线上
4. 一个灰度级图像的Randon变换
5. 物体模板与场景图像之间的模板匹配
6. 一个灰度图像的傅里叶变换

下一步的关键：就是对这些特征的匹配跟踪。
窗口就是一个子图像，由它在设备坐标下的高度，宽度，位置和朝向来定义。跟踪一个特征意味着一个窗口同特征保持固定的预定义的关系，这样诸如直线检测和特征匹配等的任何操作可通过假设（局部性原理）需要的特征仅稍稍偏离于标准朝向和位置，位于附近的局部区域中来完成，使得图像处理应用简单，执行快速，描述容易，同时，在任何位置和图像获取的窗口能够借用计算机图形学中线和块的快速复制思想来完成。这样可移动的导向窗口和假设正规化结构的图像的综合产生快速的特征跟踪

快速的SSD（差分光流法）图像特征跟踪算法

根据运动的连续性（局部性原理），我们知道对于某个特征的移动范围一定是在其上一个时刻的附近。由此我们可以设计一个快速的SSD跟踪算法，算法结构如下 ：
先设置一个窗口大小为15 $\times$ 15,当前像素位于窗口中心，用0来标记。

• 第一步，以9 $\times$ 9的各个顶点选择9个像素，计算匹配准则函数，如最佳匹配仍在0，则无运动。
• 第二部，以第一步的最佳匹配对应的像素为中心设置一个窗口5 $\times$ 5，选择8个点，计算这8个点的匹配准则函数值。
• 第三步，以第二步最佳匹配对应的像素为中心选择8个点，窗口大小为3 $\times$ 3，计算这8个点的匹配准则函数值，最佳匹配即为最后的最佳运动估计。

附录：

---

图像处理步骤

1. 滤波
2. 灰度腐蚀
3. 图像平滑
4. 图像锐化
5. 边缘提取
6. 阈值分割
7. 边界细化