智能机器人及其应用ppt课件_3D机器视觉在智能机器人拆垛中的应用
传统的2D机器视觉是基于RGB相机提供的灰度或者彩色图像进行分析或比对识别物体，通过轮廓图案匹配识别目标的位置、尺寸和方向等参数。由于2D视觉技术无法提供物体的空间坐标信息，因而在视觉引导机器人操作中，2D视觉技术很难估计出物体的姿态，不能满足机器视觉系统对目标识别和定位的要求。不仅如此，2D视觉技术还严重依赖环境光照以及目标与背景的对比度。与2D视觉技术不同，3D视觉技术可以提供目标物体的六自由度的位姿数据，能够实现对目标物体的识别和姿态估计，在基于3D视觉技术引导的机器人识别与抓取方面应用广泛。目前，利用3D视觉技术，在分拣、拆垛、码垛和上料等智能物流仓储领域常见的自动化应用场合中，可以引导机器人准确完成相应的操作。
本文主要研究了3D机器视觉在智能机器人拆垛中的应用。分析了3D机器视觉在该应用中需解决的三个问题，即3D信息获取、目标识别与定位以及路径规划，对3D视觉技术和算法处理方案进行了概要介绍，在此基础上，分析了基于公司自主研发的TOF深度相机引导机器人进行拆垛的实际应用案例。
PART 1- 3D信息获取 通过3D视觉技术，可以获取目标物体的深度信息，进而确定目标物体的三维坐标 。常见的3D视觉技术有：双目立体视觉、结构光测量和飞行时间测量。1.1 双目立体视觉
双目立体视觉是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，根据图像匹配点之间的视差，由三角法原理计算出物体三维坐标的方法。图1为双目立体视觉原理示意图。双目立体视觉最大的难点是匹配点的提取，如果目标物体的特征点很少或者不明显，都将影响对目标深度信息的获取。因而，主动增加目标物体的特征，如采用散斑图案、编码结构光等对目标物体进行照明，将提高双目立体视觉的可靠性和适应性。 图1 双目立体视觉原理示意图1.2 结构光测量
结构光测量是通过红外激光器，将具有一定结构特征或编码信息的光线投射至目标物体，通过相机采集反射回的结构光图案，根据三角测量原理计算深度值。由于计算的核心是三角法测距，因而相机与光源之间相对位姿的标定是影响测量结果的关键。结构光测量可以分为两类：线结构光测量和面结构光测量。图2a为线结构光测量，此时不能完整覆盖目标物体表面，因而需要目标物体与线结构光之间作相对运动，并进行多次采集测量才能完成。图2b为面结构光测量，一般采用两个相机来采集反射光，这种方案能同时获取多个样本，弥补了单相机测量视场有限的不足。由于结构光测量时，投射的光源具有编码信息，将不存在双目立体视觉中匹配点的提取问题。 图2 结构光测量示意图1.3 TOF测量
主动光源发射的调制光经目标物体反射后被传感器接收，通过探测光脉冲的飞行时间来计算目标物体与相机的距离。根据调制方法的不同，TOF测量一般可以分为两种：连续波调制和脉冲调制。图3为连续波调制TOF测量示意图，通常采用正弦波调制，传感器各像素点在不同控制信号下产生电荷积分，采用四步相移法计算光脉冲的相位差，最终获得目标物体的深度信息。脉冲调制是传感器上各像素点在不同控制信号下对反射回的光脉冲信号进行电荷积分，根据电荷积分的多少计算出光脉冲飞行的时间，进而确定距离。 图3 连续波调制TOF测量示意图 表1为常见3D视觉技术的对比，从测量范围、测量准确度和XY分辨率等方面比较了这三种技术的优势和不足。 表1 常见3D视觉技术对比 PART 02- 目标识别与定位 在获取3D信息的基础上，需对目标物体进行识别与定位。目标识别与定位是使用匹配技术从获得的深度或点云数据中搜寻出与目标模型最相似的物体，并通过坐标转换将相机坐标系下的目标物体的三维坐标转换为工业机器人世界坐标系下的三维坐标。目标识别中常用的匹配技术包括模板匹配、局部特征点检测和位姿聚类等。3D视觉的匹配可以是3D点云或2D图像，三维匹配的算法可以分为基于形状的3D匹配、基于表面的3D匹配和可变形表面的3D匹配。 对于目标定位，需要先建立相机像素坐标系和工业机器人世界坐标系之间的变换关系，一般称为“手眼标定”。以常见的工业机器人手眼标定为例，须将相机的像素坐标转化为机器人的世界坐标。相机的内参矩阵是将像素坐标转换为相机坐标，而外参矩阵是将相机坐标转换为机器人世界坐标，完成手眼标定后，可以引导机器人进行操作。 PART 3- 路径规划 在获得了目标物体在机器人等其他世界坐标系中的位姿数据后，可以进行下一步的路径规划。工业机器人处理托盘是物流作业中最为耗费时间的部分，以智能机器人拆垛为例，其主要内容是在深度相机获得3D信息的基础上，3D机器视觉系统进行目标识别和定位，计算出目标物体在机器人世界坐标系下的位姿信息，包括托盘位姿信息、所取货物的定位、大小和物体之间的位置等，据此确定工业机器人手爪接近目标的路径，以及确定对目标物体操作时机器人手爪的姿态。 PART 4- 实际应用案例分析4.1 任务描述
木制托盘上码放四层共24袋物料，垛型为重叠式码放，同一层左右各3袋物料。3D视觉系统通过物料垛的3D信息对各袋物料进行定位，再由机器人逐层将物料袋按次序拨至流水线，完成拆垛作。4.2 视觉系统设计
3D视觉系统基于公司自主研发的TOF相机开发，图4a为公司自主研发的TOF深度相机正面图，图4b为TOF深度相机对托盘上纸箱进行测量时输出的深度图。该相机的工作原理是基于连续波调制的TOF测量技术，其分辨率为320×240，测距范围0.6～10m，Z向分辨率为3mm，图4b中通过渲染颜色的不同表征目标物体深度值的差异。 图4 TOF深度相机及测量图 TOF深度相机安装方式如图5a所示，相机距离地面高度约5.0m，视场为60°×45°，采用固定安装方式，在物料托盘正上方进行拍摄。木制托盘尺寸为180cm×160cm×15cm，50kg物料袋尺寸为90cm×50cm×18cm，图5b为垛型实拍图。3D视觉系统对各袋物料进行定位并确定拨袋次序。 图5 拆垛场景示意图4.3 视觉算法处理
视觉算法设计思路如下。首先，设定ROI区域，根据物料垛3D信息并结合物料袋的厚度对物料垛进行分层，提取最上层物料袋的点云数据，如图6a所示。然后，找到当前层的最高点，定义为当前层高，对目标进行均衡化和膨胀处理；以图像中心为基准，将目标区域分为左右两部分；以最高点为起始点，根据物料袋外形尺寸设定搜索条件作邻域搜索，确定一个物料袋的位姿，依次循环，直至搜索完所有物料袋；将左右两区域内的物料袋以左上角为起始按逆时针排序，如图6b所示，即为引导机器人拨袋的次序。最后，将处理的结果输出到机器人拨袋路径规划程序中，路径规划程序根据物料袋定位信息引导机器人运动并完成拨袋动作。经过测试，使用Inteli7-6500CPU、主频2.5GHz的LenovoK41笔记本计算机，算法平均处理时间小于20ms，在该3D视觉系统引导下，机器人拆完整垛物料所需时间约为60s。 图6 3D机器视觉处理结果 PART 5- 结束语本文主要研究了3D机器视觉在智能机器人拆垛中的应用，归纳了3D机器视觉在机器人拆垛应用中需解决的三个问题，对3D视觉技术和算法处理方案进行了概要介绍，最后结合典型应用案例进行了分析。3D机器视觉是机器人智能化的关键，但在智能机器人拆垛应用中，3D机器视觉仍面临许多挑战。
1)在引导过程中，目标物体位姿估计的准确度和准度关系到机器人后续操作的成功率，但3D视觉技术中测量准确度和准度与深度测量范围相制约。
2)基于3D视觉技术获得的目标点云信息与目标物体的材质、形状等相关，物体表面遮挡、反光、透明和镂空等，都会使得测量数据缺失；
3)3D视觉技术获得的场景点云数据量巨大，降低了图像匹配和位姿测量的速度和准确度，影响了3D机器视觉的引导效率。
4)对于需通过主动光源对目标进行照明的3D视觉技术，相机和目标物体的相对位姿、目标物体的表面特性等均会影响深度测量数据的分布，反映在点云数据上表现为点云密度不一致，这增加了后期算法处理的难度。
由3D机器视觉在智能机器人拆垛中的应用可见，3D机器视觉已成为现代智能物流仓储新的破局点，它构建了全新的工作场景，并将渗透至智能机器人应用的各个环节中，推动该领域的新发展。
作者：陈晓东，石江涛，贾仁耀
本文属于转载内容，如有侵权，请通知删除。
【科普】
【科普】中国达芬奇手术机器人临床应用
【科普】达芬奇手术机器人系统介绍及应用进展
【科普】3D视觉技术在机器人抓取作业中的应用
【科普】采用菱形排列DMD的格雷码三维重建
【科普】6种3D光学传感技术概述
【科普】散斑结构光三维传感技术的典型应用
【科普】3D光学传感器的前世今生
【深度科普】贵得有底气！一文搞懂投影机镜头
3D 打印口腔领域应用盘点
基于机器视觉的水果品质检测综述
一个视频看懂DLP技术[DMD]
【扩展链接】
基于DLP结构光+双目相机的高精度3D相机
DLP3010及DLP4500工业光机
基于DLP3010结构光3DScan操作指南
基于DLP4500的结构光3DScan应用手册
DLP4500制作固件视频教程
DLP技术的发展历史
DLP的概念及基本原理
DLP是如何实现投影图案的？
DLP芯片的内部结构是怎样的？
DMD芯片有哪些型号？
DMD芯片是如何分类的？
DLP产品如何选型？
DLP的发展历程及DMD型号大全
DLP投影仪指标含义——亮度
DLP投影仪指标含义——对比度
DLP投影仪指标含义——光均匀性
DLP投影仪指标含义——投射比
DLP投影仪的焦距怎么计算？
DLP投影仪的放大倍数
DLP投影仪的偏移offset
DLP投影仪指标含义汇总(文字稿)
更多DLP相关咨询和内容，欢迎关注、收藏和转发。
更多问题，可以扫码或加搜索微信chhfbluesky2009咨询。
添加时务必备注”称呼+单位信息+DLP公众号“，否则不予通过。
欢迎加入VisionChina视觉交流群，私信联系，拉你加入组织。
个人微信