毕业设计-基于主动视觉的焊缝识别技术

目录

前言

课题背景和意义

实现技术思路

一、线结构光测量系统标定

二、线结构光条纹中心线提取

三、焊缝图像特征点及起始点识别

实现效果图样例

最后

---

前言

    大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

毕业设计-基于主动视觉的焊缝识别技术

课题背景和意义

随着焊接生产自动化和智能化的快速发展，对焊接的自动化和智能化提出了新的 要求，并提出了一种基于主动视觉的焊接机器人系统。通过使用激光器作为辅助光源， 将机器视觉与机器人控制运动结合，构成了焊接机器人中必不可少的部分。基于视 觉的焊接机器人非常灵活，适应性强，智能化程度高，并且可以实时检测焊接环境， 离线定位焊件位置，自动检测焊头类型，实时规划路径，从而实时控制焊缝质量， 提高焊接的生产率。此外，在恶劣的环境中，具有视觉的焊接机器人可以代替人类， 自动实现焊接，减少人类直接焊接的危险性，确保焊接质量的可靠性。  焊缝识别是焊接技术中的一个重要问题。传统的焊缝识别检测仅靠有经验的工人 利用肉眼或借助工具进行测量，但此方式不仅耗时还影响焊接的效率，降低了焊接的 准确性。 随着机器视觉技术的不断完善，视觉传感器有了较高的稳定性，较大的范围，它 常常被用于焊缝识别，并得到了相关研究人员的认可。焊缝识别的精度受传感器标定 精度与特征点提取精度的直接影响，研究和完善传感器标定技术与图像处理技术对我 国精密装备焊接产业有着重要意义。

实现技术思路

一、线结构光测量系统标定

线结构光测量系统的标定是实现焊缝识别的重要部分。主要包括两部分的内容： 一个是系统内参数的标定，即线结构光平面参数和相机内参数的标定；另一个是系统 外参数的标定，即机器人末端与工业相机的手眼标定。根据系统内参数标定实验，求 出焊缝特征点的空间三维坐标与其在相机成像面二维坐标的转换关系，再根据系统外 参数标定关系，将识别的焊缝特征点在相机坐标系下的三维坐标转换到机器人世界坐 标系下，最后完成焊缝识别。

线结构光测量系统原理 

1、相机成像原理

空间点M在相机各个成像面之间的关系，如图所示。由图可知，相机的 光心OC表示相机坐标系的原点，射线OCZC表示相机的光轴，且OCZC 垂直于像素平面π， 且交点ON为图像平面的主点。OC到像素平面π的距离表示焦距。

2、结构光测量原理

由相机成像原理可知，位于射线OCZC上的空间点，在像素平面上的像点 处于同一位置，所以仅靠相机无法获得空间点的深度信息。为了可以获得焊缝上所有空间点的深度信息，需使测量系统满足三角测量原理，如图所示：

测量系统内参数标定 

1、相机内参数标定内容

线结构光系统由一个线结构光发射器与一个相机组成。线结构光发射器被连接在 相机的一侧，当结构光投射在物体表面时，会在相机中会形成高对比度的图像，该图 像可以用于特征提取。当线结构光被投射出来时，会形成一个光平面，如图所示：

2、基于消隐点的内参数标定方法

在理想的小孔模型下，相机获取两条平行直线的像也为两条直线，但二者不再平行，且会在无穷远处相交，交点被称为消隐点。

获取消隐点的示意图如图所示。采用一块矩形标定靶，光条纹投射到标定靶 上，且与标定靶两条边L1、L 2 相交，交点为A、B。当控制机器人末端沿直线OCZC方向移动时，每次移动都会得到两个交点Ai、B i(i=1,2,⋯,n)，对A i 、Bi分别进行直线拟合，拟合后的两条直线在光平面上互相平行，且在无穷远处会交于一点，该交点即 为消隐点。

3、线结构光平面标定

当内参数标定完成后，就可以利用公式获得线结构光条纹上任意一点在相机坐标系下的坐标，再利用SVD拟合平面算法，完成线结构光平面标定。线结构光平面方程拟合的具体过程如下：根据待拟合点的三维坐标(xi  C,y i C,z i C)，（i表示第i个点），令拟合出的平面方程为：

测量系统外参数标定 

当用测量系统中的相机拍摄物体时，对于目标物体的空间描述是在相机视角下的。 令物体所处的坐标系为Oo bj−XYZ，相机的坐标系为O C−X CY CZ C ，若确定相机坐标系 在机器人末端坐标系OH−X HY HZ H 下的空间描述，即确定旋转矩阵R和平移T，就可以 在机器人末端坐标系中准确描述出目标物体。但OC−X CY CZ C 是无法直接获得的，所 以确定R和T的过程就是测量系统外参数标定，即手眼标定。

1 、扩展焦点的确定

在结构光测量系统中，相机被固定在机器人末端，当相机做平移运动时，相机成 像面中所有对应特征点的连线均通过扩展焦点。因此可以通过场景中的2个及以上特 征点来求解扩展焦点。  如图所示：

2、旋转矩阵的标定

设G为空间中的一点，XW、X H 、XC分别表示G点在机器人基坐标系、末端坐标系和相机坐标系下的坐标，它们三者之间的关系可以写成如下形式：

3、平移矩阵的标定

在测量系统内参数和旋转矩阵标定完成的基础上，选取场景中的某一固定特征点， 机器人带动线结构光对固定特征点进行测量，根据上面公式可得到如下关系：

二、线结构光条纹中心线提取

线结构光条纹中心线提取是实现焊缝识别的关键步骤。由于焊缝图片中的结构光 条纹有一定宽度，因此需要对结构光条纹进行处理，提取出宽度为单像素的中心线， 进而准确反映出光条纹的变化趋势。为了对不同类型焊缝图像进行准确地提取中心线， 本章提出了一种改进的灰度重心中心线提取算法，并对该算法的相关原理及实现方法 进行了阐述。

线结构光条纹的光强分布 
线结构光发射器主要由结构光和柱面镜两部分组成，线结构光发射器产生的结构 光束是呈椭圆状分布的，但由于柱面镜对光束的汇聚作用，使原先的光束转换为一条 直线条纹，如图所示：

 在理想情况下，光束横截面上的光强分布趋势图如图（a）所示的。由图（a）可知，光强呈对称正态分布，中间位置光强最大，两侧光强逐渐减小。但实际 的光强分布趋势图如图（b）所示，没有平滑过渡，也可能存在突变，且中间一部 分区域会一直保持最高的光强。

传统光条纹中心线提取方法

中心线提取技术是测量系统的关键技术之一。针对测量系统中不同的噪声影响， 许多学者结合机器视觉技术的发展，有针对性的提出了许多中心线提取算法。

1、几何中心线法

该法使用Canny算法进行边缘检测，边缘检测完成后，从几何计算角度提取光条 中心线。按照行或列扫描的方式，计算两条边缘上所有的像素点的坐标值，再获得 所有边缘像素点坐标的平均值作为中心点坐标，公式如所示：

2、Steger法

该法利用Hessian矩阵，确定光条的法线方向，之后在光条法向上进行泰勒级数 展开，特征点一阶导数为0，二阶导数在一定范围，那么就可以确定光条中心线的亚 像素位置。Hessian矩阵如下式表示：

3、灰度重心法

灰度重心法，又称作质心法。该法根据每个像素的坐标值和其灰度值，找出灰度 重心所在的坐标点作为中心点。该算法主要原理如图所示：

改进的灰度重心法  

线结构光条纹中心线提取算法需要充分考虑算法的有效性及实时性。因此，在分析各种传统算法的优缺点后，针对传统灰度重心法受噪声影响严重的问题，以灰度重心法为基础，融合几何中心法和方向模板法，提出了改进的灰度重心法。  

1、 中心线初步提取

传统灰度重心法根据预先设定好的灰度阈值，仅考虑灰度值高于阈值的像素点。 但由于焊接的特殊条件，比如焊接环境中存在的电弧光、烟尘和飞溅等，会导致图像 产生噪声，包括高斯噪声和椒盐噪声等，这会导致提取到的中心线存在偏差，提取精 度降低。针对传统灰度重心法受噪声影响的弊端，本文采用几何中心法初步提取结构 光条纹中心，该法需要使用Canny算法，对结构光的边缘进行检测。Canny算法的 主要步骤如下：  （1）高斯滤波。其主要目的是平滑图像，滤除噪声。实现如下：

 （2）梯度计算。一幅图像可以表示为函数I=f(x,y)，梯度gradient表示函数f(x,y) 在点(x,y)处最大的变化率，变化率计算表达式如下：

2、中心线法线方向确定

一般来说，结构光条纹形状会由于被测工件表面的不同发生不同的改变。在一定 范围内，认为光条纹具四个方向，分别为：水平、垂直、左倾45°、右倾45°。因此， 本章根据光条纹的粗细程度，选取了9×9大小的模板。将模板记为T，模板内的元素 为0和1，建立的四个模板分别为T1、T 2 、T3和T 4。

3、中心线最终提取

在初始中心线及法线方向判断完成后，沿着法线方向，依次以每个点为中心，两 边各取k个点，本文经过实验设置k=6。然后通过公式，利用灰度重心法求 出各处的线结构光的中心点。

4、算法实现步骤

（1）用Canny边缘检测算法提取结构光条纹两条边缘，再用几何中心法初步提 取结构光条纹中心线；  （2）用方向模板法对初步提取的结构光条纹中心线进行法线方向判断；（3）用灰度重心法精确提取结构光条纹中心线。 算法的详细流程，如图所示：

三、焊缝图像特征点及起始点识别

焊缝图像特征点及起始点识别是实现焊缝识别的核心部分。在提取线结构光条纹 中心线的基础上，需进一步对对接、搭接、V型和T型焊缝进行特征提取。为了准确 识别焊缝，本章采用最小二乘直线拟合法和Shi−Tomasi角点检测方法，提取出焊缝 图像特征点，采用连通域数量突变识别方法，提取焊缝起始点，最终完成焊缝识别。在

1、焊缝接头特征分析 

焊接时，焊缝接头的形状取决于待焊工件的坡口形状和厚度。常见的接头类型 有4种，分别为：对接、搭接、V型和T型。不同的接头会形成不同的结构光条纹， 而不同的结构光条纹，所表现出的特征点位置也不同。表为四种类型焊缝接头的简化分析：

连续型焊缝特征提取

连续型焊缝包括：V型焊缝和T型焊缝，其特征表现为结构光条纹中心线上的转 折点。不同的焊缝接头形式，其转折点的数目也不同，为获取转折点的位置，本章节 采用最小二乘直线拟合法。对包含中心线的焊缝图像进行分段，然后拟合直线，进而 提取出交点，即焊缝特征点。

1、最小二乘直线拟合法

该方法可以更准确地拟合出直线。使误差最小，并能使拟合出的直线上有更多的 数据点，是一种有效的数据优化方法。

 

2、特征提取算法分析

焊缝的线结构光条纹图像由相机拍摄获得，而连续型焊缝的光条纹图像是由若干 条连续相交的线段组成，此处使用最小二乘直线拟合法对获取的结构光条纹中心线进 行直线检测。  T型焊缝利用结构光条纹的形状，在图像中间做一条竖直直线，将图像分为左右 两个部分，如图所示：

间断型焊缝特征提取

间断型焊缝包括：对接型焊缝和搭接型焊缝，其特征表现为结构光条纹中心线上 间断处的边界点。不同的焊缝接头形式，其边界点的数目也不同，为获取边界点的位 置，本文采用角点检测法，提取出正确的焊缝特征点。

1、Shi-Tomasi角点检测算法

该算法的原理是通过一个局部小窗口来查看图像，角点区域的特征是，当窗口向 任何一个方向移动时，图像的灰度都会有明显的变化，如图所示：

2、特征提取算法分析  

焊缝的线结构光条纹图像由相机拍摄获得，而间断型焊缝的光条纹图像是由若干 条不相交的线段组成，此处使用Shi−Tomasi角点检测算法对获取的结构光条纹中心 线进行特征点检测。

 对接型焊缝图像中由于结构光条纹中心线不连续，特征点的位置直接表现在中心 线间断处，且特征点的数量一般为四个，特征点具体表现形式图，如图所示：

焊缝起始点提取  

焊缝起始点的提取对焊缝识别至关重要。通常可以将焊缝起始点理解成两个工件 边缘上的交点。由于焊缝起始点的不易获取性，一般来说，不能通过简单的角点检测 算法进行提取，而是需要结合实际焊缝类型，获取起始点信息。

1、基于连通域数量突变的起始点识别  

当利用线结构光测量系统对焊缝扫描时，由于相机只能获得结构光条纹得图像， 所以本章采用扫描式焊缝检测，识别焊缝起始点位置。不同焊缝的接头形式，结构光 条纹图像得表现形式也不同，当光条纹扫描到起始点区域时，光条纹图像会发生连通 域数量突变，此时对连通域的数量进行标记。四种典型焊缝起始点区域的结构光条纹 形式，如图所示：

2、算法实现步骤  

检测过程使用两次扫描的方式，第一次正向扫描，直到连通域数量发生突变，可 以判断突变处为起始点区域，第二次缓慢反向扫描，当连通域数量刚突变到初始数量 时，就可以把焊缝起始点位置识别转换为特征点位置识别。起始点检测算法流程如图所示：

实现效果图样例

焊缝识别技术：

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后