机器视觉定位

什么叫定位

狭义： 即坐标的定位，多个坐标系（一般是机械坐标系和图像坐标）的坐标转换，输入一个坐标系通过转换定位到另一个坐标系的位置。

广义：全称应该叫做视觉定位系统。把相机安装在机构平台上，通过相机拍摄定位出视野范围内的产品，通过数据传输，引导机器人抓取，并摆放在设定好的位置上。

为什么要定位

简单来讲机器视觉其实就是用机器来代替人的眼睛来做判断。
机器视觉方案不仅可以提高生产的灵活性和自动化，另外在一些不适合人员作业的危险工作环境或者人眼难以判读的状况下，就需要机器视觉来替代人工视觉。

定位的原理以及特征

原理：
机器视觉系统是通过机器视觉产品转化为图像信号，传送给图像处理系统，得到目标产品的形态信息，根据像素分部和亮度，颜色等信息，然后再转变成数字化信号（坐标角度信息），图像系统对这些信号进行各种运算，转换，从而将计算的结果通过各种通信将控制设备的运动。

特征：
1：视觉定位是一种综合技术，包括数字图像处理技术，机械工程技术，控制技术，电光源照明技术，光学成像技术，传感器技术，模拟和数字视频技术以及计算机。以及硬件技术，人机界面技术等。只有对多种技术进行调整和应用，它们才能配置成功的工业机器视觉系统。

2：工业机器视觉需要适应恶劣的工业生产环境，同时具有合理的性价比，较高的容错性，安全性和通用的工业接口，因此须强调实用性。只有这样，普通工人才能操作它。

3：工业机器视觉强调实时性，需要高速和高精度，因此目前很难将许多计算机视觉和数字图像处理技术应用于机器视觉，实际上开发速度要快得多比工业生产中的实际应用速度。

4：工业机器视觉研发工程师须具备学习数学理论，编译计算机软件以及集成灯光，机械和电气的能力。

定位的应用

针对物料定位的应用分为单物料与双物料两种大的场景：
名词解释：
机台： 机械手，移动平台等硬件以及相关软件系统的统称作为一个整体的机构平台
基准位置： 物料的一个位置，此位置在不要相机引导的情况下，机台默认能够进行正确的抓取，放置，贴合并达到精度要求
位移差： 生产过程中物料的位置与基准位置的偏移量，包含X,Y,A（角度）。

单物料的抓取，纠偏，放置

1.抓取： 在生产过程中需要抓取的物料真实位置（x,y）以及角度(angel)不确定，相机对需要抓取的物料拍照后将图像传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标转换成真实坐标以及物料的角度，处理系统将真实坐标和角度传送给机台旋转平移后对物料进行抓取

2.纠偏： 生产过程中机台的抓取，放置位置是固定的，物料被抓取到拍照位仍有偏差，此时需要相机对物料拍照后将图像传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标与此点在基准位置的坐标的位移差（XYA），然后将位移差转换成位移差的真实坐标，处理系统将位移差的真实坐标传送给机台对物料进行位移差的补偿（先旋转再平移）

3.放置： 在生产过程中需要放置的物料真实位置（x,y）以及角度(ange)不确定，相机对需要放置位置拍照后传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标转换成真实坐标以及物料的角度，处理系统将真实坐标和角度传送给机台旋转平移后将物料放置

抓取和放置常用的功能：

（1）.物料有角度时，且机台的移动坐标轴与旋转中心轴不在同一点，机台进行旋转平移时，旋转后的坐标偏移量会发生变化。此时需要通过计算得出旋转过后新的平移量

（2）.当物料的抓取（放置）的点无明显特征或有硬件条件限制时，图像处理系统需要获取物料上的特征点与抓取（放置）点的固定的相对位置，然后根据拍到物料的特征点，计算出需要抓取，放置的点。

双物料

4.对位贴合： 生产过程中两个物料需要进行贴合并且由于硬件条件限制，两个物料与基准位置对比都有位移差且不能分别对两个物料进行纠偏处理，只有其中一个物料的机台能进行旋转移动的情况下。此时需要相机对需要抓取（放置）的物料拍照后将图像传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标与此点在基准位置的坐标的位移差（XYA），将两个物料通过相机间的标定将两个物料的位移差统一到可旋转的物料的机台中。通过数学计算后将得出的位移差转换成真实坐标，处理系统将位移差的真实坐标传送给机台对一个物料的机台进行位移差的补偿（先旋转再平移）

对于其他复杂场景都是基于上述应用的变化

（kenexs）新架构软件定位的使用

物料的创建，工具的添加

标定

标定介绍： 坐标标定是得到两个固定坐标系间坐标转换矩阵，关键变量：比例当量s与两个坐标系间的角度θ
旋转标定是得到一个固定的旋转中心

坐标标定

填入两个坐标轴的对应点的两组坐标后，点击标定即可。

由于目前软件来说在调试现场有较多外部因素依次填入两个坐标系相应点的坐标流程负责且耗时较长，标定精度不能得到保证。目前软件针对此情况做了几种方式的优化能加快标定流程
1.直接获取两坐标系间的比例当量与坐标系间的角度，只能使用偏移量。数据正确情况下此时误差最小趋近于0
此时想要使用绝对坐标两种方式：

• 得到偏移量后加上机台发送（通讯发送，人为记录等方式）过来的绝对坐标
• 知道两个坐标系原点之间的偏移量（转换到第二个坐标系的坐标偏移量）

2.自动标定，需要双方协商标定流程，通讯流程以及格式（误差来源：工具找点误差和机械臂自身走点误差）
3.快速标定，需要使用到标定板，误差来自工具找点误差和标定板人为摆放与机械坐标系间的误差

1目前软件未实现，2,3已实现此功能
旋转标定

图像与机械的标定

自动标定

软件和机台进行通讯交流，将两个坐标系的坐标自动填入到坐标标定和旋转标定的表格中，然后自动触发标定算法，得出坐标转换矩阵以及旋转中心，然后再根据新的转换矩阵和旋转中心进行相关运算

特点：时间短，误差精度有保证
限制：需要双方协商标定流程，通讯流程以及格式（误差来源：工具找点误差和机械臂误差）

快速标定

利用标定板，相机拍照在标定板上找图像坐标点并机械坐标点
要求高，时间短，精度低

手动标定

要求比较低，时间长，精度高

两个相机间的标定

为什么要进行两个相机间的标定？

怎么标定？

坐标转换

mark点：需要转换成机械坐标的点
一个坐标系中的mark点坐标转换成与mark点对应的另一个坐标系中的点坐标

单物料的定位（抓取，放置，纠偏）

小物料（一个相机视野能拍到）

抓取，放置

实质就是：mark点的坐标转换

激光打码，焊接等

纠偏

对物料进行纠偏时，物料需要有一个

1.注册基准图

图像基准位

注册基准图时mark点的坐标位置

机械基准位

注册基准图时机械移动轴的坐标位置。此时图像基准位与机械基准位不能保证100%的重合，所以标定完成后图像mark点坐标坐标转换出的机械点坐标与机械轴实际要移动的位置有固定误差。这个固定误差就是图像基准位的机械坐标与机械基准位的差值，需要后期做补偿

2.运行当前图

相对偏移量

在生产过程中，物料会发生偏移旋转，通过当前图像的mark点与基准图像上的mark点的相对偏移值计算出机械轴需要移动的相对偏移量，并输出到机台

绝对位置量

有时机台需要的是绝对位置
绝对位置量= 对偏移量+机械基准位

大物料（多相机(多拍)才能拍全）

抓取，放置

纠偏

图像基准位

机械基准位

相对偏移量

绝对位置量

多物料的定位（两个物料间的对位贴合）

小物料（一个相机视野能拍到）

单物料的纠偏计算

数据记录

两个物料偏移量的联合计算

大物料（多相机(多拍)才能拍全）

单物料的纠偏计算

数据记录

两个物料偏移量的联合计算

物料1或者物料2的偏移量

定位项目场景

FPC贴合项目：

捷邦项目：

共达电声项目：

顶盖刻码项目：

CTP项目：

精澄项目：