工业机械臂（机器人）视觉定位引导系统

关注并星标

从此不迷路

计算机视觉研究院

公众号ID｜ComputerVisionGzq

学习群｜扫码在主页获取加入方式

计算机视觉研究院专栏

作者：Edison_G

随着工业的发展，在生产中对自动化的要求越来越高，视觉技术已被广泛引入工业(工业机械臂)机器人行业，具备视觉的工业(工业机械臂)机器人能更快、更准、更灵活地完成定位抓取、对位组装等。

1

 概括

‍

基于图像分析的视觉技术在(工业机械臂)机器人引导相关应用中的主要作用是精确获取对象物（待抓取物体）和目标物（待组装物体）的坐标位置和角度，并将图像坐标转换为(工业机械臂)机器人能识别的(工业机械臂)机器人坐标，指导(工业机械臂)机器人进行纠偏和组装。因此，手眼标定和定位引导是机器视觉在(工业机械臂)机器人引导中应用的的核心。

2

 手眼标定原理

原理：所谓手眼标定，即将手（机械手）和眼（摄像机）的坐标系统一起来，解决相机与机械手之间的坐标转换关系，让机械手能精确抓取到摄像机定位的目标。

从一个坐标系XOY到另一个坐标系X’O’Y’，可以看做是XOY经过平移、旋转、缩放等效到另一个坐标系X’O’Y’。

手眼标定流程

求解标定的转换公式只需要三组以上两个坐标系的对应点，所以在视觉应用中一般采用N点标定算法来实现手眼标定。

VM算法平台标定流程

VM算法平台中具备丰富的定位工具和包含N点标定在内多种标定工具，可以便捷地实现手眼标定。

接收到(工业机械臂)机器人的定位触发信号后

手眼标定流程图

标定过程

VM算法平台会将标定路径以及标定精度显示在界面端，便于用户排查调试流程，实现标定过程可视化。

3

 定位引导

在机器视觉与(工业机械臂)机器人相结合的应用中，(工业机械臂)机器人引导定位最为普遍。此类场景下，大致可分为单相机抓取定位引导、单相机纠偏引导、上下相机贴合定位引导。

单相机抓取定位引导

左：相机运动；右：相机静止正装

上图即为单相机定位引导的场景，相机即可安装于(工业机械臂)机器人上，也可固定于机台上。通过相机拍摄传送的来料，对其进行定位以便(工业机械臂)机器人根据定位信息抓取来料，如此可降低对工位间传送机构的准确性要求，确保抓取位置的一致性。

基于VM算法平台实现单相机抓取定位引导流程如下图所示：

接收到(工业机械臂)机器人的定位触发信号后，基于VM算法平台实现单相机纠偏引导流程如下所示：

单相机纠偏定位引导

基于VM算法平台实现单相机纠偏引导流程如下所示，

注：流程中各工具的使用介绍同上。

而此处用【单点对位】而非【变量计算】是因为该模块考虑了(工业机械臂)机器人末端有延展轴，使得操纵点不是法兰中心导致的不共轴。

上下相机对位引导

应用场景：该系统可广泛应用于3C产品屏幕及电路板的生产组装等相关场景，如将膜与玻璃对齐贴合或将玻璃和偏光片对齐贴合等。

基于VM算法平台的上下相机对位引导方案如下所示：

全局流程

上相机流程

下相机流程

注：流程中各工具的使用介绍同上。

转知乎《https://zhuanlan.zhihu.com/p/449517052》

© THE END 

转载请联系本公众号获得授权

计算机视觉研究院学习群等你加入！

ABOUT

计算机视觉研究院

计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！

VX：2311123606

 往期推荐 

• 最近几篇较好论文实现代码（附源代码下载）
  

• VS Code支持配置远程同步了

• 基于文本驱动用于创建和编辑图像（附源代码）
  

• 基于分层自监督学习将视觉Transformer扩展到千兆像素图像
  

• 霸榜第一框架：工业检测，基于差异和共性的半监督方法用于图像表面缺陷检测
  

• CLCNet：用分类置信网络重新思考集成建模（附源代码下载）
  

• YOLOS：通过目标检测重新思考Transformer（附源代码）
  

• 工业检测：基于密集尺度特征融合&像素级不平衡学习框架（论文下载）
  

• Fast YOLO：用于实时嵌入式目标检测（附论文下载）

• 计算机视觉研究院：AI部署以及工业落地学习之路（文章较长，建议收藏）
  

• 目标检测干货 | 多级特征重复使用大幅度提升检测精度（文末附论文下载）

01

研究背景

近年来，深度学习凭借自动提取反映物体固有属性的