机器视觉基本概念
机器视觉系统
作用：利用机器代替人眼来做各种测量和判断。
它是计算机学科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。
机器视觉系统的特点：是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。可以在最快的生产线上对产品进行测量、引导、检测、和识别，并能保质保量的完成生产任务
视觉检测：指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。
照明
照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。
光源可分为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。
照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。
镜头
FOV（Field of Vision）=所需分辨率*亚象素*相机尺寸/PRTM（零件测量公差比）
镜头选择应注意：
①焦距②目标高度 ③影像高度 ④放大倍数 ⑤影像至目标的距离 ⑥中心点 /节点⑦畸变
视觉检测中如何确定镜头的焦距
为特定的应用场合选择合适的工业镜头时必须考虑以下因素：
· 视野 - 被成像区域的大小。
· 工作距离 (WD) - 摄像机镜头与被观察物体或区域之间的距离。
· CCD - 摄像机成像传感器装置的尺寸。
· 这些因素必须采取一致的方式对待。如果在测量物体的宽度，则需要使用水平方向的 CCD 规格，等等。如果以英寸为单位进行测量，则以英尺进行计算，最后再转换为毫米。
参考如下例子：有一台 1/3” C 型安装的 CDD 摄像机（水平方向为 4.8 毫米）。物体到镜头前部的距离为 12”（305 毫米）。视野或物体的尺寸为2.5”（64 毫米）。换算系数为 1” = 25.4 毫米（经过圆整）。
FL = 4.8 毫米 x 305 毫米 / 64 毫米
FL = 1464 毫米 / 64 毫米
FL = 按 23 毫米镜头的要求
FL = 0.19” x 12” / 2.5”
FL = 2.28” / 2.5”
FL = 0.912” x 25.4 毫米/inch
FL = 按 23 毫米镜头的要求
注：勿将工作距离与物体到像的距离混淆。工作距离是从工业镜头前部到被观察物体之间的距离。而物体到像的距离是 CCD 传感器到物体之间的距离。计算要求的工业镜头焦距时，必须使用工作距离
相机
按照不同标准可分为：标准分辨率数字相机和模拟相机等。要根据不同的实际应用场合选不同的相机和高分辨率相机：线扫描CCD和面阵CCD；单色相机和彩色相机。
图像采集
图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。
比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机，然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。
视觉处理器
视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。由于采集卡可以快速传输图像到存储器，而且计算机也快多了，所以视觉处理器用的较少了。
机器选型
在机器视觉系统中，获得一张高质量的可处理的图像是至关重要。系统之所以成功，首先要保证图像质量好，特征明显，。一个机器视觉项目之所以失败，大部分情况是由于图像质量不好，特征不明显引起的。要保证好的图像，必须要选择一个合适的光源。
光源选型基本要素：
对比度：对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。
亮度：当选择两种光源的时候，最佳的选择是选择更亮的那个。
当光源不够亮时，可能有三种不好的情况会出现。
- 相机的信噪比不够；由于光源的亮度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。
- 其次，光源的亮度不够，必然要加大光圈，从而减小了景深。
- 另外，当光源的亮度不够的时候，自然光等随机光对系统的影响会最大。
鲁棒性：另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时，结果图像应该不会随之变化。方向性很强的光源，增大了对高亮区域的镜面反射发生的可能性，这不利于后面的特征提取。
好的光源需要能够使你需要寻找的特征非常明显，除了是摄像头能够拍摄到部件外，好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。
特征提取辨识
一般检测（自动识别）先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准；然后拍摄被检测的图像，再将两者进行对比。
图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。
Color检测
一般而言，从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红（R）绿（G）篮（B）三个成分组成，来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。
Blob检测
根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积，以确定是否在检测范围之内。因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。
Blob分析（Blob Analysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化（Binary Thresholding）处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE）来表示相邻的目标范围。这种算法与基于象素的算法相比，大大提高处理速度。
结果处理和控制
应用程序把返回的结果存入数据库或用户指定的位置，并根据结果控制机械部分做相应的运动。
工作原理
视觉检测涉及拍摄物体的图像，对其进行检测并转化为数据供系统处理和分析，确保
符合其制造商的质量标准。不符合质量标准的对象会被跟踪和剔除。
掌握视觉检测系统的工作原理对评估该系统对公司运作所做的贡献十分重要。必须充分在设置视觉检测系统时所涉及到的变量。正确设置这些变量，采用合适的容差，这对确保在动态的生产环境中有效而可靠地运行系统而言至关重要。如果一个变量调整或设计不正确，系统将连续出现错误剔除，证明使用不可靠。
结构组成
图像部件
摄像机捕捉被检测物体的电子图像，然后将其发送到处理器进行分析。电子图像被转换成数字，表示图像最小的部分，即像素。图像显示的像素数量称作分辨率。图像的分辨率越高，包含的像素数量越多，进行检测时，图像的像素数量越多，检测结果越准确。
摄像机
视觉检测系统的摄像机有三个变量需要调整，以优化捕捉到的图像。它们是光圈、对比度和快门速度。
照明部件
正确的照明对帮助创建有效检测所需的对比度很关键。当对一件产品的正确系统设置进行评估时，设计师会花费相当多的时间用来确定检测所需的最佳照明。照明解决方案的类型、几何形状、颜色和强度应当提供尽可能强的对比。
软件工具
视觉检测系统使用软件处理图像。软件采用算法工具帮助分析图像。视觉检测解决方案使用此类工具组合来完成所需要的检测。常用的包括，搜索工具，边界工具，特征分析工具，过程工具，视觉打印工具等。
视觉检测的优势
1、非接触测量，对于观测者与被观测者都不会产生任何损伤，从而提高系统的可靠性。
2、具有较宽的光谱响应范围，例如使用人眼看不见的红外测量，扩展了人眼的视觉范围。
3、长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作测量、分析和识别任务。
4、利用了机器视觉解决方案，可以节省大量劳动力资源，为公司带来可观利益。
CCD篇
1、CCD视觉系统的 作用：利用机器代替人眼来做各种测量和判断。
2、CCD视觉系统的组成：
该系统综合了光学、机械、电子、计算机软硬件等方面的技术涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。包括数字图像处理技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。
3、CCD检测原理
CCD与CMOSS的区别】
信息正常读取：
CCD电荷耦合器存储的电荷信息，需在同步信号控制下一位一位地实施转移后读取，电荷信息转移和读取输出需要有时钟控制电路和三组不同的电源相配合，整个电路较为复杂。CMOS光电传感器经光电转换后直接产生电流（或电压）信号，信号读取十分简单。
2）速度
CCD电荷耦合器需在同步时钟的控制下，以行为单位一位一位地输出信息，速度较慢;而CMOS光电传感器采集光信号的同时就可以取出电信号，还能同时处理各单元的图像信息，速度比CCD电荷耦合器快很多。
3）电源及耗电量
CCD电荷耦合器大多需要三组电源供电，耗电量较大;CMOS光电传感器只需使用一个电源，耗电量非常小，仅为CCD电荷耦合器的1/8到1/10，CMOS光电传感器在节能方面具有很大优势。
4）成像质量
CCD电荷耦合器制作技术起步早，技术成熟，采用PN结或二氧化硅（SiO2）隔离层隔离噪声，成像质量相对CMOS光电传感器有一定优势。由于CMOS光电传感器集成度高，各光电传感元件、电路之间距离很近，相互之间的光、电、磁干扰较严重，噪声对图像质量影响很大，使CMOS光电传感器很长一段时间无法进入实用。近年，随着CMOS电路消噪技术的不断发展，为生产高密度优质的CMOS图像传感器提供了良好的条件。
- 内部结构（传感器本身的结构）
CCD的成像点为X-Y纵横矩阵排列，每个成像点由一个光电二极管和其控制的一个邻近电荷存储区组成。光电二极管将光线（光量子）转换为电荷（电子），聚集的电子数量与光线的强度成正比。在读取这些电荷时，各行数据被移动到垂直电荷传输方向的缓存器中。每行的电荷信息被连续读出，再通过电荷/电压转换器和放大器传感。这种构造产生的图像具有低噪音、高性能的特点。但是生产CCD需采用时钟信号、偏压技术，因此整个构造复杂，增大了耗电量，也增加了成本
CMOS传感器周围的电子器件，如数字逻辑电路、时钟驱动器以及模/数转换器等，可在同一加工程序中得以集成。CMOS传感器的构造如同一个存储器，每个成像点包含一个光电二极管、一个电荷/电压转换单元、一个重新设置和选择晶体管，以及一个放大器，覆盖在整个传感器上的是金属互连器（计时应用和读取信号）以及纵向排列的输出信号互连器，它可以通过简单的X-Y寻址技术读取信号
- CCD电荷耦合器需在同步时钟的控制下，以行为单位一位一位地输出信息，速度较慢;而CMOS光电传感器采集光信号的同时就可以取出电信号，还能同时处理各单元的图像信息，速度比CCD电荷耦合器快很多。
CMOS光电传感器的加工采用半导体厂家生产集成电路的流程，可以将数字相机的所有部件集成到一块芯片上，如光敏元件、图像信号放大器、信号读取电路、模数转换器、图像信号处理器及控制器等，都可集成到一块芯片上，还具有附加DRAM的优点。只需要一个芯片就可以实现很多功能，因此采用CMOS芯片的光电图像转换系统的整体成本很低。
CCD和CMOS在制造上的主要区别是CCD是集成在半导体单晶材料上，而CMOS是集成在被称做金属氧化物的半导体材料上，工作原理没有本质的区别。CCD只有少数几个厂商例如索尼、松下等掌握这种技术。而且CCD制造工艺较复杂，采用CCD的摄像头价格都会相对比较贵。事实上经过技术改造，目前CCD和CMOS的实际效果的差距已经减小了不少。而且CMOS的制造成本和功耗都要低于CCD不少，所以很多摄像头生产厂商采用的CMOS感光元件。成像方面：在相同像素下CCD的成像通透性、明锐度都很好，色彩还原、曝光可以保证基本准确。而CMOS的产品往往通透性一般，对实物的色彩还原能力偏弱，曝光也都不太好，由于自身物理特性的原因，CMOS的成像质量和CCD还是有一定距离的。但由于低廉的价格以及高度的整合性，因此在摄像头领域还是得到了广泛的应用。
由两种感光器件的工作原理可以看出，CCD（电荷藕合器件图像传感器：Charge Coupled Device），它的优势在于成像质量好，但是由于制造工艺复杂，只有少数的厂商能够掌握，所以导致制造成本居高不下，特别是大型CCD，价格非常高昂。 在相同分辨率下，CMOS（互补性氧化金属半导体：Complementary Metal-Oxide Semiconductor）价格比CCD便宜，但是CMOS器件产生的图像质量相比CCD来说要低一些。
CMOS针对CCD最主要的优势就是非常省电，不像由二极管组成的CCD，CMOS 电路几乎没有静态电量消耗，只有在电路接通时才有电量的消耗。这就使得CMOS的耗电量只有普通CCD的1/3左右，这有助于改善人们心目中数码相机是“电老虎”的不良印象。CMOS主要问题是在处理快速变化的影像时，由于电流变化过于频繁而过热。暗电流抑制得好就问题不大，如果抑制得不好就十分容易出现杂点。
CMOS与CCD的图像数据扫描方法有很大的差别。例如，如果分辨率为300万像素，那么CCD传感器可连续扫描300万个电荷，扫描的方法非常简单，就好像把水桶从一个人传给另一个人，并且只有在最后一个数据扫描完成之后才能将信号放大。CMOS传感器的每个像素都有一个将电荷转化为电子信号的放大器。因此，CMOS传感器可以在每个像素基础上进行信号放大，采用这种方法可节省任何无效的传输操作，所以只需少量能量消耗就可以进行快速数据扫描，同时噪音也有所降低。这就是佳能的像素内电荷完全转送技术。
COMS优点：相对于其他逻辑系列，CMOS逻辑电路具有以下优点：
1 允许的电源电压范围宽，方便电源电路的设计
- 逻辑摆幅大，使电路抗干扰能力强
3 静态功耗低
⒋ 隔离栅结构使CMOS期间的输入电阻极大，从而使CMOS期间驱动同类逻辑门的能力比其他系列强得多
CMOS的缺点：就是太容易出现杂点， 这主要是因为早期的设计使CMOS在处理快速变化的影像时，由于电流变化过于频繁而会产生过热的现象。在相同分辨率下，CMOS价格比CCD便宜，但是CMOS器件产生的图像质量相比CCD来说要低一些。
CCD的优势：在于成像质量好，但是由于制造工艺复杂，只有少数的厂商能够掌握，所以导致制造成本居高不下，特别是大型CCD，价格非常高昂