机器视觉系列(一)——概述
机器视觉系列(二)——机械部分
机器视觉系列(三)——电气部分
机器视觉系列(四)——相机部分
机器视觉系列(五)——镜头部分
延续之前的机器视觉系列文章,这里从应用的角度,介绍照明光源部分的相关整理内容。
照明光源是影响机器视觉系统输入的重要因素,它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备,所以针对每个特定的应用案例,要选择相应的光源装置,以达到最佳效果。
照明的主要目的为:
①将待测区域与背景明显区分开;
②增强待测目标边缘清晰度;
③消除阴影;
④抵消噪光。
在一定程度上,照明和光源的设计与选择是机器视觉系统成败的关键,其最重要的功能就是使被观察的图像特征与被忽略的图像特征之间产生最大的对比度,从而易于对特征的区分。选择合适的光源不仅能够提高系统的精度和效率,也能降低系统的复杂性和对图像处理算法的需求。
光源可分为可见光光源和不可见光光源,最常用的几种可见光光源有LED灯、激光(基本只用于立体视觉);常用的不可见光光源有紫外线UV和红外线IR。
LED光源:其是目前最常用的光源,主要有以下几个优点:
①使用寿命长,大约为10000-30000小时;
②由于LED光源采用多个LED排列而成,故可以设计成复杂的结构,以实现不同的光源照射角度;
③有多种颜色可选,包括红、绿、蓝、白以及红外、紫外;针对不同检查物体的表面特征和材质,可选用不同颜色,即不同波长的光源,从而达到理想效果;
④光均匀稳定并且响应速度快,可在10us或更短时间达到最大亮度;
⑤可用作闪光灯,响应速度很快,几乎没有老化现象;
⑥由于采用直流供电,亮度非常容易控制;
⑦工作电压低,光源功耗小,发热小。
其主要缺点有:
①其性能与环境温度有关,最大操作温度为60°C。环境温度越高,LED老化越快,寿命越短。
②白光LED老化会改变颜色坐标(色调和色温)。
推荐的LED光源亮度设置为标称值的50%,这优化了使用寿命,最大限度地减少了老化。
由于LED有如此多的优点,目前在机器视觉中基本都应用LED光源。
激光:相比于普通光源,激光具有以下优点:
①方向性好。普通光源(太阳、白炽灯或荧光灯)向四面八方发光,而激光的发光方向可以限制在小于几个毫弧度立体角内,这就使得在照射方向上的照度提高千万倍。激光每200千米扩散直径小于1米,若射到距地球3.8×105km的月球,光束扩散不到2千米,而普通探照灯几千米外就扩散到几十米。
②亮度高。激光是当代最亮的光源,只有氢弹爆炸瞬间强烈的闪光才能与它相比拟。因此激光的总能量并不一定很大,但由于能量高度集中,很容易在某一微小点处产生高压和几万摄氏度甚至几百万摄氏度的高温。例如,激光打孔、切割、焊接和激光外科手术等实际应用就是利用了这一特性。
③单色性好。光的颜色取决于它的波长。普通光源发出的光通常包含着各种波长,是各种颜色光的混合。而某种激光的波长只集中在十分窄的光谱波段或频率范围内。如氦氖激光的波长为632.8纳米,其波长变化范围不到万分之一纳米。例如,激光良好的单色性为精密度仪器测量和激励某些化学反应等科学实验提供了极为有利的手段。
④相干性好。干涉是波动现象的一种属性。基于激光具有高方向性和高单色性的特性,它必然会是相干性极好的光。激光的这一特性使全息照相成为现实。
由于激光的这些特性,使得在超精密测量中,只能使用激光而不能使用普通光源。
基恩士的激光相关产品着重突出其激光光束尖锐技术,其通过独家的光学系统,将线束直径尖锐到极限(小至25μm),从而实现了以往所无法实现的稳定检测。相应亮点形状对光学系统进行了大幅改良,通过实施最佳化,使以往发生较多的检测不均也转为稳定。
另外,LED光源还可按形状进行分类,主要有:环形光源、背面光源、条形光源、同轴光源、AOI专用光源、球积分光源、线形光源、点光源、组合条形光源、对位光源。
①环形光源有以下特点:
<1>提供不同照射角度、不同颜色的组合,更能突出物体的三维信息。
<2>有高密度LED阵列,所以亮度高。
<3>有多种紧凑设计,节省安装空间。
<4>可解决对角照射阴影问题。
<5>可选配漫反射板导光,光线均匀扩散。环形光源的应用领域包括PCB基板检测、IC元件检测、显微镜照明、液晶校正、塑胶容器检测、集成电路印字检查。
②背面光源:其是指用高密度LED阵列面提供高强度背光照明,可突出物体的外形轮廓特征,尤其适合作为显微镜的载物台。背面光源分为红白两用背光源和红蓝多用背光源,能调配出不同颜色,满足不同被测物体的多色要求。背面光源的应用领域包括机械零件尺寸的测量、电子元件及IC元件的外形检测、胶片污点检测、透明物体划痕检测等。
③条形光源:其是较大的方形被测物体的首选光源,有以下特点:
<1>颜色可根据需求自由组合。
<2>照射角度与安装可随意调节。其应用领域包括金属表面检查、图像扫描、表面裂缝检测、LCD面板检测等,为测试物为较大方形结构的首选光源。
④同轴光源:其可以消除物体表面不平整引起的阴影,从而减少干扰,部分同轴光源采用分光镜设计,以减少光损失并提高成像清晰度。同轴光源适用于反射度极高的物体(如金属、玻璃、胶片、晶片等)表面的划伤检测、芯片和硅晶片的破损检测、Mark点定位及包装条码识别。另外其分光镜设计可提高成像清晰度。飞拍同轴可针对曝光时间极短或飞拍产品检测,不可常亮。瞬间亮度10倍左右高亮同轴光。
⑤AOI专用光源:其特点为:
<1>可对不同角度进行三色光照明,照射凸显焊锡三维信息。
<2>可外加漫反射板导光,以减少反光。
<3>可选用不同角度进行组合。AOI专用光源主要用于电路板焊锡检测。
⑥穹顶光源:其具有积分效果的半球面内壁,可均匀反射(漫反射)从底部各个角度发射出的光线,使整个图像的照射十分均匀(且高亮度)。穹顶光源适合于曲面、表面凹凸、弧形表面的检测和金属、玻璃等反光较强的物体表面检测。
⑦线形光源:其具有超高亮度,采用柱面透镜聚光,适用于各种流水线连接检测的场合。线形光源的应用领域包括线阵相机照明专用、AOI专用。
⑧点光源:其特点为:
<1>使用大功率LED,体积小,发光强度高。
<2>是卤素灯的替代品,尤其适合作为镜头的同轴光源等。
<3>具有高效散热装置,大大提高光源的使用寿命。点光源适合与远心镜头配合使用,也可用于芯片检测、Mark点定位、晶片及液晶玻璃底基校正。
⑨组合条形光源:其特点为:
<1>四边可配置条形光,每边照明独立可控。
<2>可根据被测物要求调整所需照明角度,适用性广。组合条形光源的应用范围包括PCB基板检测、IC元件检测、焊锡检查、Mark点定位、显微镜照明、包装条码照明及球形物体照明等。
⑩对位光源:其特点为:
<1>对位速度快。
<2>视场大。
<3>精度高。
<4>体积小,便于检测集成。
<5>亮度高,可选配辅助环形光源。对位光源的应用领域为全自动电路板印刷机对位专用。
光源的好坏需从以下几个方面衡量:
①波长范围:其定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应保证需要检测的特征突出于其他背景。彩色物体反射了一部分光谱,其他部分被吸收。我们可以利用这一特点来增强我们需要的特征,比如使用合适的照明光源使其光谱范围正好是希望看到的波长范围被物体反射,不希望看到的波长范围被物体吸收。例如,如果绿色背景上面的红色被测物需要增强,就可以使用红色照明,这时红色物体会更加明亮,同时绿色物体会变得暗淡。
另外,由于CCD和CMOS传感器对于红外光比较敏感,我们常采用红外光来增强某些特征。增强效果也可通过白光加滤镜得到,然而如果白光这样被过滤,其发光效率将大大降低,所以通常情况下从开始就使用彩色照明。
注意:由于绿色LED相比红色和蓝色LED具有明显更高的能源转换效率(同样的电流下,绿色LED的光通量是红色LED的近2倍,蓝色LED的近7倍),在被测物没有颜色选择的前提下,使用绿色LED可以获得更高的亮度和更小的发散角,从而可以使感光较差物体的成像图像获得更大的对比度,提高信噪比,利于进行机器视觉算法的特征提取,所以更具优势。
注意:红色LED在CCD传感器上产生最大的灰度值,尽管发光强度(人眼)不是最大的。另一方面,最大发光强度为5100mcd的白色LED仅产生中等灰度值。这是由于发光强度值与人眼的V(λ)曲线评估和CCD传感器感知的差异造成的。即使是具有低传感器相关辐射强度的红外LED,由于其较宽的半宽波长,也会产生相当大的灰度值。
白光作为不同波长的混合物不会产生衍射。而单色光容易发生衍射,且衍射发生在光接触的每个材料边缘。所以对于以边缘提取为目标的机器视觉应用,应优先使用白光照明,从而避免产生模糊的边缘。对于零件颜色经常变化的应用,白光是最好的选择,因为它不会抑制或强调任何颜色。
②亮度:对应的指标是照度。当有两种光源时,应选择更亮的光源。当光源较暗可能出现三种不利于观测的情况:
<1>由于光源较暗,所以图像的对比度较低,在图像上出现噪声的可能性也随即增大;
<2>由于光源较暗,所以需加大光圈,导致景深减小;
<3>光源较暗会导致自然光等随机光对系统的影像增大。
所有机器视觉应用都会受到对比度的影响。物体和图像传感器分别具有良好的对比度是图像处理软件的算法能够发挥作用的基础。没有对比意味着没有可用的信息。对比度是照明的直接后果。经典定义中的对比度是在人类感知的背景下进行的,并且与亮度的绝对值有关:
其中K是人类感知/解释的对比度;Lmax是对象(顶光)或照明(背光)处的最大亮度;Lmin是对象处的最小亮度。
一些简单的计算表明,如果发现的亮度较大,则对比度较高。相比之下,用于数字解释Kdig的图像对比度由图像内的绝对灰度值差异定义(感兴趣区域/相关图像区域):
其中,Kdig是数字图像的对比度/灰度值差;Gmax是最大灰度值;Gmin是最小灰度值。
对比度越好,软件的结果就越可靠。没有规则可以预测哪种对比度是必要的,因为它取决于功能和内置算法。一些算法(用于边缘检测的梯度算法)是已知的,它们仍然可以处理3个(来自255个)灰度值的对比度。还有一些需要灰度值相差30以上。图像处理算法在对比好的图像上的工作更精确。此外,如果一些算法可以处理对比图像,则它们的处理时间会减少。至少对比图像的处理更可靠。
应考虑使对比度最大化的所有努力以避免饱和。在图像中发现的最大亮度(如果需要,仅在相关区域)不应超过最大值的90%。对于具有8位灰度值分辨率的相机,意味着最大灰度值为230。在255的灰度值(对于8位),图像信息丢失,无法计算结果。
③均匀性:不均匀的光会发生不均匀的反射。简单地说,图像中暗的区域表示缺少反射光,而亮的区域表示反射光太强。不均匀的光会使视野范围内某些区域的光比其他区域多,从而造成物体表面反射不均匀。均匀的光源可以补偿物体表面的角度变化,即使物体表面的几何形状不同,光源在各部分的反射也是均匀的。好的光源能使寻找的特征明显化,除了使摄像头能够拍摄到物体外,还能产生最大的对比度和足够的亮度,且对物体的位置变化不敏感。
④使用寿命:工业用户通常接受的光源最短寿命和运行时间为10 000小时(超过一年)。只有这样才能缩短停机时间和降低维护成本。这一事实通常限制了LED是唯一选择。
机器视觉中照明的目的是使被测物的重要特征显现,而抑制不需要的特征。为达到此目的,我们需要考虑光源与被测物间的相互作用,其中最核心的因素就是光源和被测物的光谱组成,我们可以用单色光照射彩色物体以增强被测物相应特征的对比度,以及照明的角度,其可以用于增强某些特征。物体表面的几何形状和光滑度决定了光在物体表面的反射情况。光在光滑度高的物体表面可能发生高度反射(镜面反射)或者高度漫反射。决定镜面反射还是漫反射的主要因素是物体表面的光滑度。物体表面的形状越复杂,其表面的反射情况也随之而复杂。比如对于一个抛光的镜面表面,光源需要在不同的角度照射,以此来减小光源。这些都需要通过照明角度来进行控制。
光源的入射方向取决于光源的类型和相对于物体放置的位置。一般来说有两种最基本的方式:直射光和漫射光,所有其他的方式都是从这两种方式中延伸出来的。
①直射光:入射光基本上来自一个方向,入射角小,光集中在非常窄的空间范围内,能投射出物体阴影。
②漫射光:入射光来自多个方向,甚至所有的方向,光在各个方向的强度几乎是一样的,不会投射出明显的阴影。
实际应用中有以下几种常见的照明方式:
①直接照明:其是指光直接射向物体,得到清晰的影像。直接照明适用于得到高对比度的图像。若直接照在光亮或者反射的材料上,则会引起像镜面的反光。其最大好处是便于安装。直接照明一般采用环形光源或点光源。环形光源是一种常用的照明方式,易安装在镜头上,可为漫反射表面提供充足的照明。明场漫射正面照明方式常用于防止产生阴影,并用于减少或防止镜面反射,也可以用于透过被测物体的透明包装,如下图:
明场直接正面照明有两种方法:一种是使用倾斜的环形光,常用于使孔洞或感兴趣区域产生阴影,这种照明方式的缺点是光线分布不均匀;另一种是使用同轴平行光,常用于采集会产生镜面反射的物体图像。如下图:
②暗场照明:其为物体表面提供低角度照明。使用相机拍摄镜子,使其在相机的视野内,如果在视野内能看见光源,则为亮场照明,反之为暗场照明。因此,光源是亮场照明还是暗场照明取决于光源的位置。典型的暗场照明可以突出被测物的缺口及凸起,可增强像划痕、纹理或雕刻文字等特征,应用于表面部分有突起或有纹理变化的照明。如下图:
③背光照明:其是指从物体背面射过来均匀视场的光。背光方式只显示不透明物体的轮廓,常用于被测物体需要的信息可以从其轮廓得到的场合,如测量物体的尺寸和确定物体的方向。背光照明可以产生很强的对比度,通过相机可以看到物面的侧面轮廓。应用背光照明技术时,物体表面特征可能会丢失。例如,可以应用背光照明技术测量硬币的直径,但是却无法判断硬币的正反面。对于透明物体,背光可以用于检测被测物的内部部件,可避免使用正面照明造成的反射。漫射背光对于有一定高度的被测物,其在相机一侧的某些部分也可能会被照亮,因此漫射背光主要用于厚度不大的被测物,平板金属工件和灯泡中的灯丝是常用明场漫射背光照明的两类被测物。如下图:
明场平行光背光照明需要使用远心镜头配合,而且照明与镜头位置需要仔细调整,这种照明会使被测物轮廓非常锐利。此外,由于使用远心镜头,图像也没有透射变形,所以这种照明常用于测量应用。如下图:
④连续漫反射照明:其适用于物体表面有反射或者表面角度复杂的情况。连续漫反射照明应用半球形的均匀照明,以减少影子及镜面反射。这种照明方式可用于完全组装的电路板照明,可以达到170°立体角范围的均匀照明。
⑤同轴照明:其通过垂直墙壁的发散光,照射到一个使光向下的分光镜上,相机从上方通过分光镜看物体。同轴照明适用于检测高反射率的物体,也适用于受周围环境阴影的影响、检测面积不明显的物体。
⑥结构光照明:其可以通过检查具有投影光图案,来测量3D表面信息。不透明表面上的投射光使我们能够使用二维传感器获得三维信息。借助光模式可以:
<1>检查三维零件的存在
<2>测量一个点的高度
<3>测量沿线的宏观高度分布
<4>测量沿线的微观粗糙度
<5>测量零件的完整形貌/平面度。
一般采用编码光的方式可以提高分辨率。
应用结构光照明的条件是:
<1>被检测部件具有散射和非镜面表面(用于表面测量)
<2>被检测部件具有反射背面(用于透明材料)
<3>被检测部件不包含可见的底切(用于检测整个地形)。带有底切的测试对象无法将照明的投影线分配给零件上的解释线。
一维线光结构,光线的投影导致了所谓的光缝法的原理。以一定角度投射到表面上的直线的变形给出了关于沿测试对象表面上的截面的高度信息(如下图)。其用于测量零件的微观表面粗糙度,也可用于检查较大零件的截面。
二维线格形状的光结构,多条平行线或其他二维光结构的投影允许评估完整的表面(如下图)。为了计算完整表面(地形)的高度特性,需使用复杂的数学算法。
可用于三维测量的光组件包括:
<1>具有各种形状的光束整形光学器件的二极管激光器提供几乎与距离无关的光几何测量,结构宽度低至0.05mm。
<2>具有自适应光和智能光结构序列的LCD投影仪。
这组照明可以被认为是明场入射光的一个子类别,因为在成像传感器上的结果看起来很相似。效果是由零件的散射表面产生的。
除了以上几种常用照明方式外,还有在特殊场合所使用的其他照明方式:
①在线阵相机中使用的亮度集中的条形光照明
②在精密尺寸测量中与远心镜头配合使用的平行光照明。光的照射角度一致,太阳光就是平行光,发光角度越窄的LED直射光越接近平行光。
③在高速在线测量中为减小被测物模糊而使用的频闪光照明
④可减少杂光干扰的偏振光照明,其在垂直于传播方向的平面内,光矢量延某一固定方向振动的光(通常利用偏光板来防止特定方向的反射)
⑤很多复杂的被测环境需要两种或两种以上的照明方式共同配合完成。
丰富的照明方式可以解决视觉系统中图像获取的很多问题,光源照明方式的选择对视觉系统的成功至关重要。
为了找到最佳的照明设置,理论分析只是辅助,必须根据样品部件的实验确认设置。为了找到照明角度,使用单个离散灯可能会有所帮助,然后继续选择合适的灯。需要记录光线、零件和相机的对齐情况。为了在相似设置之间取得平衡,必须捕获图像并进行比较以获得最大对比度。在检查多个特征时,可能需要不同的照明设置。必须检查不同灯对图像的影响。
针对上述实际需求,安利一下:基恩士有一款照明产品叫LumiTrax,其可通过专用的IC控制,在一款光源下实现不同角度的照明。
照明选型过程大致分为:
①了解项目需求,明确要检测或者测量的目标。
②分析目标与背景的区别,找出两者之间的光学现象。
③根据光源与目标之间的配合关系以及物体的材质,初步确定光源的发光类型和光源颜色。
④用实际光源测试,以确定满足要求的照明方式。
即:外形尺寸→打光方式(角度)→颜色→光照强度。
照明示例:
①直射光
②漫射光
③平行光
④偏振光
⑤单色光
⑥光的过滤及加强
⑦红外光散射率低,透射率高,可透过印刷图像,屏幕玻璃表面,薄膜,液体等。
⑧紫外光波长短,主要应用于UV胶水固化及检测,防伪。
⑨明场照明
⑩暗场照明
光源最好配合专门的光源控制器使用,因为:
①开关电源启动时,电压是不稳定电压,瞬间峰值电压会超过LED灯的耐压值,影响光源的使用寿命。
②在相同的摄像头及镜头参数下,照明光源的光波波长越短,得到的图像的分辨率越高。所以在需要精密尺寸及位置测量的视觉系统中,应尽量采用短波长的单色光作为照明光源,对提高系统精度有很大作用。
对闪光灯照明的一些要求:
①闪光灯内部的延迟、上升、下降时间短
②闪光灯重复率>所用相机的帧率
③EMC能力
④寿命长
⑤寿命后亮度损失低(无法补偿!)
⑥恒定光能下的可变闪光时间
⑦可变闪光亮度而不改变闪光时间。
使用闪光灯的一些注意事项:
①闪光灯的短光脉冲宽度使其成为需要停止运动的应用(例如高速检查)的绝佳选择。
②闪光灯可用于将生产线上的零件冻结在相机下方进行检查时。触发闪光灯的一致性也是这些应用的主要优势。
③使用闪光灯可以缩短曝光时间(低至1/200 000秒),而不是来自成像传感器的预设(通常为1/30 000~1/60 000秒)。此外,对于没有快门的传感器,可以闪光到标准曝光时间。采用卷帘快门技术的传感器不适合与闪光灯组合使用——为此需要逐行扫描。
④闪光灯(和短曝光时间)适合抑制环境光的影响,但这需要比环境光高几倍的闪光灯光能。
从理论中可以看出,对于入射光和透射光,闪光应用都是可能的。注意测试对象的反射率。许多真实零件的有限反射率使得无法使用入射闪光灯。反射光的量太少了。具有透射光的闪光灯应用通常可靠地工作。
运动模糊是零件在曝光或闪光期间移动的效果。这可能是由以下原因引起的:
①曝光期间部件移动
②曝光期间相机移动(振动)
③曝光时间过长
④照明时间过长(闪光时间)。
注意:通常图像中一个像素的运动模糊是可以用于清晰成像的(可能有例外)。
运动模糊的大小可由下式确定:
其中,MB为图像中的运动模糊;Sexp为曝光时间/闪光时间期间零件的运动;PR为像素分辨率;no.of pixels为像素数,传感器在零件运动方向上使用的像素数;FOV为相机在零件运动方向上的视场长度。
上面的公式说明了更好的像素分辨率使应用程序对运动模糊更加敏感。为了避免这种情况,可以缩短曝光时间和/或闪光时间。
基于对恒定曝光H = E*t的需求,如果使用闪光灯照明,则需要在图像中达到相同的亮度以显着增加照明功率(照度E)。为了在图像中生成相同的亮度(恒定的f-stop数),以下示例性关系是有效的:
该示例表明,对这种高照度的需求只能在短时间内满足,并且只能通过闪光灯光源来满足。对足够闪光灯能量的需求通常与对大景深的需求相关联。对于更大的焦深,更强的封闭式光圈将再次增加对更多光线的需求。更大的光圈数意味着需要双倍的光量。
选择闪光灯的一般步骤:
①找到匹配的照明技术:用静态光检查照明:可能还是不可能?
②确定灯光颜色:注意与零件颜色的相互作用。
③确定照明尺寸
④照明组件可用作脉冲或闪光模型?
⑤时间和亮度考虑(很大程度上取决于设计):带闪光灯的入射光:比1/10 000秒更短的闪光时间大多是有问题的脉冲光入射光:短于1/2000秒的闪光时间大多是有问题的透射光。使用闪光灯:最高可达1/200 000s透射光。使用脉冲光:大约最高可达1/20 000s
⑥可达到的闪光重复率(很大程度上取决于设计)
机器视觉的工业场景并没有像实验室那样提供理想的照明环境。实验室测试的照明在工厂车间也不能自动工作。最大和不可估量的影响来自环境光和外来光。它可以是静态的(来自工厂大厅的照明)或动态的(通过窗户射入的阳光)。尽量减少环境光影响的第一个条件是选择尽可能强大的照明,称为正确选择的照明技术。目的是计算出的照明功率(在所考虑的光谱带内)比环境光强。如果能保证这一点,可以尝试通过以下方式尽量减少环境光的影响:
①选择更短的曝光时间
②选择更大的光圈数
③选择闪光灯
④同时选择所有这些措施。
注意:初步检查视觉系统安装位置的环境和外来照明条件。也可以通过视觉系统测量来检查它,而不仅仅是通过你的主观眼睛。感受一下环境光的强度。在选择照明技术、照明组件和软件算法时要考虑到这一点,一些选项会自动被拒绝。
使用单色光或红外光与滤光片相结合来抑制环境光的影响。一种简单但非常有效的方法是用不透明的外壳(内部需通过刷漆等手段,增强吸光性能)封装相机—光学—照明单元。这是一种久经考验的方法,其在各种条件下都有效的对环境/外来光抑制。如果不清楚以后机器安装在哪里,这种方法将是最安全的。
以上就是关于照明光源要讲的内容,欢迎大家对本文章进行补充和指正。
《Halcon机器视觉算法原理与编程实战》,北京大学出版社
《海康机器视觉认证工程师官方资料》
《Handbook of Machine and Computer Vision——The Guide for Developers and Users》,Alexander Hornberg,Wiley
《KEYENCE产品综合目录》