机器视觉在复杂环境下焊接、焊点的自动化缺陷检测应用
点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
焊接，也称作熔接，是一种以加热、高温或者高压的方式接合金属或其他热塑性材料如塑料的制造工艺及技术。
现代焊接的能量来源有很多种，包括气体焰、电弧、激光、电子束、摩擦和超声波等，随着工业的发展和科技的不断进步，焊接智能装备凭借其输出能量大、焊接速度快、适用性强的优势已在航空航天、汽车、3C电子等制造业中得到广泛应用。
在这些行业应用过程中，市场也不断对焊接加工品质提出了更高的需求，例如更多类型材料的焊接能力、焊点焊面的完整度与连续性、焊接品质的检测效率等。
1、焊接焊点外观检测的必要性
焊接作为工业生产中不可或缺的环节，对产品质量有着重要的影响。焊接过程中由于参数设置和运行 过程等因素影响焊接部件的缺陷难以避免。
如裂纹、夹渣 、气孔 、未焊透 、未熔合等，这些缺陷对安全生产以及产品质量构成严重威胁。因此，有效地检测出焊接过程中出现的缺陷对产品质量和生产制造都十分重要。
传统的缺陷检测方式采用人工检测，缺点是成本高，且检测效率随用工时间的延长迅速降低。后来，X射线探伤和超声波探伤的引入对于焊接缺陷检测提供了新的方法，这些方法有易于检测内部缺陷的优点，但成本高，成像欠清晰等问题始终困扰着这些检测方法。因此如何尽可能减少在生产过程中人工评定法的主观性、差异性成为各个行业及客户的主要诉求。在此背景下，配备高效智能的外观缺陷检测系统变得尤为重要。
随着工业机器视觉的发展，深度学习在图像特征学习中的独特优势使其在表面缺陷检测中具备重要的实用价值，成为了工业智能检测领域的主流研究方向
2、基于深度学习的焊接焊点缺陷检测
深度学习主要包含卷积神经网络和Faster R-CNN两种网络模型，通过利用算法模型自动学习的特点，不再受限于复杂多变的环境，可自动提取缺陷特征，最终实现自动检测。
一方面，避免了传统算法中人工提取特征的局限性和复杂性；
另一方面，深度学习在自然语言处理、图像分类和图像分割等领域已获得了广泛应用，为外观缺陷检测系统的研发奠定了坚实基础。
基于深度学习的焊接、焊缝、焊点等缺陷自动检测系统如图所示 ，由工业摄像机 、计算机 、采集卡 、光源 、工件及工件运动控制装置组成 。
1. 图像获取：①工业相机与光学镜头、②照明光源、③传感器、④图像采集卡；
2. 图像处理：⑤PC平台、⑥视觉处理软件、⑦控制单元。
工业相机和图像采集卡采集目标区域的图像 ，在计算机中进行实时自动处理和分析，系统的核心在于图像处理。
工业现场中，采集的图像并非仅限于缺陷存在的区域，往往是待检对象所处的整个区域，这个区域通常包括光源、背景工件、背景板等诸多因素，尤其是某些情况下，实际检测对象需要与光源 “交叉 ” 。因此，为了得到最终的检测结 果需要诸多步骤实现目标区域的逐步锁 定，并最终利用缺陷检测的相关技术对感兴趣区域进行最终检测以判断是否存在缺陷问题。
为了实现这样的目标，首先需要考虑将目标对象与背景进行分割，得到初步目标 (预定位 )，通过具体检测目标的相关特征进一步锁定检测对象，然后在得到检测对象的基 础上锁定感兴趣区域，最后对感兴趣区域进行检测判断是否存在缺陷并标记。
3、以PCB焊点缺陷检测为例
针对 PCB 板的正反面进行检测，PCB 焊点缺陷检测主要有四种类型：多锡、少锡、焊锡合适和漏焊。
照明方式的设计
考虑到光源与镜头的相对位置以及相关的光学原理等因素，照明方式有很多种，常用的方式有同轴光源照射、背光光源照射等，下面对照明方式进行设计比较。
考虑到 PCB 板特点以及环形照射优点：PCB 基板对光线反射能力弱，焊点反射能力强；焊点分布有一定的范围；环形照射会减弱阴影出现。因此选用的光源为环形光源， 每个 LED 灯珠向内侧倾斜 30 度， 减弱了反光影响。
机器视觉检测方案总体设计
采用机器视觉和图像处理技术对 PCB 焊点缺陷进行检测， 机器视觉检测系统的重要组成部分如下：
1、运动系统：由控制器、驱动器、电机、导轨等组成；
2、光学系统：由圆环形光源、图像采集卡、工业相机、光学镜头、实验支架以及实现相机采集图像的控制软件等组成；
3、图像处理检测系统：主要是 PCB 焊点图像检测识别算法，包括多曝光图像融合、图像预处理、特征提取、焊点缺陷检测分类等；
4、系统软件：在 PC 机上，根据相关系统软件，对采集到的焊点图像进行一系列图像处理， 得出测试数据并进行分析。
来源：矩视智能、act视觉系统设计
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
16.基于Open3D的点云处理入门与实战教程
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，加微信：dddvision
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近6000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~