基于机器视觉的多机械臂煤矸石分拣机器人系统研究

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

基于机器视觉的多机械臂煤矸石分拣机器人系统研究

王鹏1,2，曹现刚1,2，夏晶1,2，吴旭东1,2，马宏伟1,2

(1.西安科技大学 机械工程学院，陕西 西安 710054；2.陕西省矿山机电装备智能监测重点实验室，陕西 西安 710054)

摘要：现有煤矸石分拣方法主要是根据煤和岩石的纹理特征值，利用图像处理和模式识别技术对煤矸石进行识别分选，分选的煤矸石粒度为25～150 mm,而对于150 mm以上的煤矸石仍依靠人工进行分选。为了对大粒度煤矸石进行分拣，设计了一种基于机器视觉的多机械臂煤矸石分拣机器人系统。该系统采用机器视觉采集煤矸石信息，应用深度学习方法实现煤矸石识别和抓取特征提取；在获取煤矸石序列信息后，根据煤矸石位置进行排序工作，并通过多目标任务分配策略将抓取任务下达给相应机械臂控制器；机械臂获取任务后，根据获得的任务对目标进行动态监测，当目标进入机械臂工作空间后由视觉伺服系统驱动机械臂完成煤矸石分拣。试验结果表明，该系统可对粒度为50～260 mm的煤矸石进行高效、快速分拣，所采用的煤矸石识别方法和分拣策略在不同带速下具有良好的稳定性和准确性，煤矸识别与定位的综合准确率可达93%，验证了该系统的可行性。

关键词：煤矸石分拣机器人；大粒度煤矸石；机械臂；煤矸石抓取特征；机器视觉；视觉伺服；多机械臂协同控制

0 引言

煤炭工业的绿色发展已经成为全社会关注的焦点，煤炭的清洁加工和利用是实现煤炭工业绿色发展的重中之重。煤炭入选率是衡量煤炭绿色发展水平的有效指标，目前一些发达国家的原煤入选率已超过了80%，我国原煤入选率约为60%。《煤炭工业发展“十三五”规划》明确提出，国家将煤炭清洁高效开发利用作为能源转型发展的立足点和首要任务，要求“十三五”末原煤入选率达到75%[1]。持续提升我国原煤入选率迫在眉睫，任务艰巨。从原煤中分拣煤矸石是煤炭洗选的首要环节。传统的拣矸工作主要在地面依靠人工完成，存在拣矸效率低、劳动强度大、工作环境恶劣等问题，不仅如此，煤矸石堆放存在占用土地、污染大气、危害水土、潜在灾变等一系列严重问题。

煤矸石的自动分选研究，国外较国内要早一些。自20世纪60年代开始，世界各主要产煤国如美国、澳大利亚、英国、俄罗斯、德国等都对煤矸石的自动分选系统做了大量研究工作，先后提出了20余种分选和识别煤矸石的方法，其中包括机械振动、雷达、人工γ射线、天然γ射线、红外反射和无线电探测等方法。英国和美国在这方面的研究成果较为突出[2-3]。我国选煤工业起步较晚，20世纪50年代才开始建立起自己的选煤工业。张万枝等[4]根据煤和岩石的纹理特征值差别较大的特征,采用能量、对比度、相关性和熵作为特征向量实现了煤和矸石的自动识别,且以熵值作为特征向量时煤矸识别效果最好。刘富强等[5]提出了一种新的煤与矸石识别方法，利用图像处理和模式识别技术对煤矸进行识别分选，提出以煤与矸石灰度直方图的灰度均值、方差作为煤矸识别的特征差异。张晨[6]进行了煤矸光电密度识别研究，根据煤矸石与煤的密度不同进行识别，识别完成后对煤矸石进行定位，通过高压气体实现煤和矸石分离。以上煤矸石分选方法主要是根据煤和矸石的纹理特征值，利用图像处理和模式识别技术对煤矸进行识别分选，分选的煤矸石粒度为25～150 mm,而对于150 mm以上的煤矸石仍依靠人工进行分选。为此，曹现刚等[7]在现有煤矸石识别技术基础上，提出了基于多机械臂协同的煤矸石分拣方法。煤矸石分拣已逐步朝着自动化、机器人化的方向发展。为了对大粒度煤矸石进行分拣，本文结合机器视觉、机器人和智能控制等技术，设计了一种基于机器视觉的多机械臂煤矸石分拣机器人系统，可对粒度为50～260 mm的煤矸石进行高效、快速分拣。

1 系统设计

1.1 系统硬件设计

基于机器视觉的多机械臂煤矸石分拣机器人系统由煤矸石识别系统、机械臂、上位机、机器人控制器、视觉伺服系统等组成，如图1所示。

图1 基于机器视觉的多机械臂煤矸石分拣机器人系统构架

煤矸石识别系统主要通过双目立体相机进行拍摄，并将采集到的图像传到上位机。上位机对煤与矸石图像进行处理，包括煤与矸石的识别以及定位信息处理。除此以外，上位机同时对识别后的矸石进行抓取特征提取，确定机器人手爪的抓取姿态。上位机在获取煤矸石信息后，根据煤矸石位置进行排序工作，并通过多目标任务分配策略将抓取任务下达给相应机械臂控制器。机械臂根据获得的任务对目标进行监测，当目标进入机械臂工作空间后由视觉伺服系统驱动机械臂完成煤矸石分拣。

1.2 系统软件方案

1.2.1 软件开发平台

在Windows系统环境下，以VS2015作为软件开发平台，选择运行于.NET Framework之上的高级程序设计语言Visual C#语言作为程序开发环境。在选择视觉软件时需要考虑与相机的兼容性、硬件的扩展性以及软件的易用性和算法速度与摄像机的兼容。选用的ZED相机支持多种平台、多种语言开发，能够很好地与机器人控制系统融合。煤矸石分拣机器人视觉伺服系统包括2个部分：一是煤矸石识别模块，通过双目视觉完成煤矸石识别和抓取特征提取；二是视觉伺服控制模块，主要通过视觉伺服技术完成煤矸石动态跟踪和抓取。

1.2.2 软件模块设计

系统软件运用结构化设计，总体结构如图2所示，分为信息获取层、数据处理层和机械臂控制层。

图2 系统软件总体结构

(1)信息获取层。该部分通过视觉伺服系统获得煤矸石图像，并进行图像预处理，关键是对重复对象进行去重复处理，在获得高质量的图像后，再由训练好的煤矸石识别深度学习模型对图像中的目标进行识别和抓取特征提取。当完成识别任务后，对煤矸石信息进行排队处理，生成煤矸石信息序列，并将数据序列发送至数据处理层。

(2)数据处理层。数据处理层是整个软件系统的核心部分，在获取煤矸石序列信息后，系统根据煤矸石的位置信息以及当前各机械臂的工作状态进行多任务、多机械臂任务分配。分配策略以最大化分拣煤矸石为目标，当机械臂任务量超量时，则以拣取大块煤矸石为准则。当机械臂获取任务后，在对煤矸石进行跟踪和拣取时，需要根据相邻机械臂的位置和后续动作进行协同控制，以免发生撞车事故。为了保证整个系统信息的实时性，采用工业以太网通信，实现上位机和机械臂控制器的数据通信和指令传输。

(3)机械臂控制层。机械臂控制层主要包括机械臂视觉伺服控制模块、机械手稳定抓取控制模块和底层控制模块。机械臂视觉伺服控制模块通过手眼系统实时获取任务目标位姿，并通过图像雅克比矩阵计算机械臂控制参数，实现对移动目标的动态跟踪。当机械臂末端跟踪上目标后，由机械手稳定抓取控制模块根据煤矸石姿态进行稳定抓取，确保抓取成功。该模块通过煤矸石大小和质量对机械臂手爪抓取力进行自适应控制。机械臂底层控制主要采用PID控制方法。

2 系统实现的关键技术

2.1 煤矸石识别技术

煤矸石识别以机器视觉为基础，将采集的煤矸石图像作为训练样本，结合深度学习技术，通过训练样本对深度网络进行训练，最终获取煤矸石识别卷积神经网络模型。为了训练识别效果好的网络模型，需要提供大量不同的煤矸石图像数据，让其自动学习图像中的特征，确定模型参数，以优化模型。煤矸石目标识别方法如图3所示。

图3 煤矸石目标识别方法

在对网络进行训练前，必须对采集的图像进行预处理，常用的方法有尺寸归一化、标注、高清化和去重复等，主要目的是获取高质量的煤矸石图像。通过卷积神经网络中卷积层与池化层的结合作用，自动提取煤矸图像特征，得到特征映射图，再经过RPN(Region Proposal Network)提取煤或矸石的候选区域，最后输出图像中煤或矸石目标的分类结果[8-11]。卷积神经网络结构如图4所示。

通过对不同煤矸混合样本进行实验，得到各类样本的识别结果。煤矸石目标识别效果如图5所示，图中矩形区域即为目标定位区域，矩形区域上Gangue、Coal及数字表示为区域目标识别为矸石或煤及其对应概率。由于不同煤种表面色泽和质地的不同，其识别效果也有差异。对不同的煤和矸石进行识别实验,通过对多次实验结果进行统计，煤矸目标识别综合准确率可达93%，完成时间为50 ms。

图4 卷积神经网络结构

图5 煤矸石目标识别效果

2.2 煤矸石抓取特征提取技术

煤矸石识别系统除了完成煤矸石识别外，还需要根据煤矸石的形状生成煤矸石抓取特征。抓取表达方法主要有单个抓取点表达方法、多接触点抓取表达方法和抓取矩形表达方法。抓取矩形表达方法通常对应抓取的浅层特征，如颜色特征、深度特征及法向量特征等。与抓取点表达方法和多接触点表达方法要求输入较深层次特征不同，采用抓取矩形表达方法的挑战在于模型的建立，要求模型实现从大量抓取样本浅层特征中自主学习到抓取的深层特征，采用该表达方法时通常应用深度学习算法建立分类器，如文献[12]采用深度神经网络，文献[13-16]均采用卷积神经网络。

本文采用二维平面内的抓取矩形来表达目标区域的可抓取性，抓取矩形表达方法是一种高维的表达方法，这种表达认为正矩形样本对应的目标区域对于二指夹持器是可以成功抓取的，负矩形样本则会导致抓取失败。二维平面内一个抓取矩形可以用5个参数描述：

r={u,v,h,w,g}

(1)

式中：(u,v)为抓取矩形中心点O在图像平面内的坐标；h，w分别为矩形的宽度和长度；g为矩形倾斜角。

本文以康奈尔抓取数据集为基础，通过对模型的输入数据进行一定的预处理操作[17]，建立矸石抓取样本库，然后建立基于卷积神经网络的矸石抓取分类器，进而建立基于深度学习的矸石抓取矩形分类模型，并通过样本库进行训练。矸石抓取矩形分类模型如图6所示。

通过所建立的基于深度学习的矸石抓取矩形分类模型，在完成样本库的训练后，进行在线抓取矩形识别，结果如图7所示。

图6 矸石抓取矩形分类模型

图7 矸石抓取矩形识别结果
Fig.7 Rectangle recognition results of gangue captures

在完成抓取矩形识别后，获取抓取矩形参数，该参数并不能直接应用于机械手控制，还需要通过建立一定的映射关系将图像坐标转换到机器人坐标系。对于二指夹持器，可建立夹持器坐标系。二指夹持器独立的描述参数为7个，即3个位置参数、3个方向参数、1个开合宽度。

夹持器抓取位姿参数可表示为

M={x,y,z,α,β,γ,n}

(2)

式中：x，y，z为抓取点的三维坐标(机器人坐标系)；α，β，γ为抓取姿态的三维方向(如欧拉角)；n为夹持器开合宽度，假定夹持器抓取位姿参数为M时，关闭夹持器可成功将物体抓取。

2.3 机械臂控制技术

机械臂控制系统主要由机器人控制器、伺服驱动系统和视觉伺服系统等组成，如图8所示。

当煤矸石识别系统完成识别工作后，将煤矸石信息通过TCP/IP通信发送给上位机。上位机根据煤矸石分布信息将分拣任务分配给各个机械臂控制器，再由机械臂完成分拣工作。其中机械臂的路径规划采用B-RRT*(Bidirectional Rapidly-exploringRandom Tree)规划算法。该算法是在采用启发式策略和贪婪算法的RRT*随机采样算法的基础上，引用双向搜索策略和基于三角不等式的路径优化算法，具有更高规划成功率，能够更快地收敛到最优路径代价。该系统中，每个机械臂由一个控制器进行控制，实现机械臂X轴、Y轴、Z轴、C轴和手抓开合控制。机械臂通过以太网将其位姿信息发送至上位机，通过相应控制策略实现机械臂间相互协作。

图8 多机械臂控制构架

3 基于多机械臂协同的煤矸分拣策略

为了实现矸石的最大化分拣，需要对多机械臂进行协同控制。当煤矸石识别系统对煤矸石进行识别后，会生成矸石坐标序列，如图9所示，图中Pk为矸石坐标，L为存放点间距，ve为带式输送机速度。每个机械臂都有已知的工作空间，如何对煤矸石分拣任务进行合理分配能使系统分拣效率最大是煤矸石分拣策略需要考虑的首要问题。

图9 矸石序列

在进行策略规划时，主要考虑煤矸石当前位置和机械臂工作状态。当获取煤矸石序列时，首先对煤矸石按照其与机械臂之间沿带式输送机运行方向的距离进行重新排队，将距离最小的排在队首，这一过程实时进行。当队首煤矸石进入分拣区域后开始遍历机械臂群工作状态，将队首煤矸石坐标发送至空闲机械臂，然后由该机械臂执行分拣任务。如果不存在空闲机械臂，判断当前矸石是否超出分拣区域，如果超出则放弃分选，如果仍在分拣区域，则继续返回排队程序，重新分配。基于多机械臂协同的煤矸石分拣策略流程如图10所示。

图10 基于多机械臂协同的煤矸石分拣策略流程

4 实验验证

根据煤矸石分拣现场工况，设计了桁架式双机械臂机器人系统，如图11所示。

图11 桁架式双机械臂分拣机器人样机

双机械臂煤矸石分拣机器人采用直角坐标四自由度(X,Y,Z,C)结构，X，Y，Z轴速度为2 m/s,加速度为4 m/s2，三轴重复精度为0.02 mm。为了对粒度为50～260 mm的煤矸石进行分拣，机械臂末端采用行程可控的气动机械手爪，如图12所示，机械手行程为0～270 mm。煤矸石识别采用ZED双目立体相机。

用实验室样机进行分拣实验，测试在不同带速下对粒度为50～260 mm的煤矸石进行在线识别、定位、分拣策略的准确性和稳定性。抓取样本为300块矸石和100块煤，样机实验结果见表1。

图12 气动机械手爪

由表1可知，所设计的双机械臂煤矸石分拣机器人可以对粒度为50～260 mm的煤矸石进行分拣，所采用的煤矸石识别方法在不同带速下具有良好的稳定性，识别率较高；同时本文所提出的分拣策略具有较高的准确率和稳定性。而在不同带速下抓取率有降低趋势，通过在实验中观察发现，当带速提高时，计算的抓取位置误差较大，导致抓取失败。后期将在机器人抓取动态目标方面进行深入研究。

表1 煤矸石分拣机器人实验结果

Table 1 Experimental results of coal and gangue sorting robot

5 结论

(1)针对现有煤矸石分拣方法存在的问题，结合机器视觉技术、机器人技术和人工智能技术设计了基于机器视觉的多机械臂煤矸石分拣机器人系统。该系统能够在线进行煤矸石识别，并进行抓取任务分配，机械臂根据协同分拣策略进行煤矸石分拣。

(2)通过对煤矸石分拣机器人构成及工作原理的深入分析研究，确定了煤矸识别、定位、分配策略及分拣方法，并在此基础上建立了基于机器视觉的多机械臂煤矸石分拣机器人样机。样机实验结果表明，双机械臂煤矸石分拣机器人可对粒度为50～260 mm的煤矸石进行高效、快速分拣，所采用的煤矸石识别方法和分拣策略在不同带速下具有良好的稳定性和准确性。同时也验证了该系统的可行性，为煤矸石分拣提供了一种新方法。

参考文献：(References)

[1] 中国煤炭工业协会.《中国煤炭工业改革发展年度报告》(2016年度)发布[J].中国煤炭,2017,43(2):10.

China Coal Industry Association.Annual report on the reform and development of China's coal industry(2016)[J].China Coal,2017,43(2):10.

[2] 宋晓茹.基于ARM和CPLD的煤矸石在线自动分选系统研究[D].西安：西安科技大学,2006.

[3] 程栋,滕召胜,黎福海,等.基于双能γ射线的煤炭灰分测量模型及其应用[J].湖南大学学报(自然科学版),2014,41(5):99-105.

CHENG Dong,TENG Zhaosheng,LI Fuhai,et al.Coal ash measurement model and its application based on dual-energy γ-ray[J].Journal of Human University(Natural Sciences),2014,41(5):99-105.

[4] 张万枝,王增才.基于视觉技术的煤岩特征分析与识别[J].煤炭技术,2014,33(10):272-274.

ZHANG Wanzhi,WANG Zengcai.Analysis and identification of coal and rock characteristics based on visual technology[J].Coal Technology,2014,33(10):272-274.

[5] 刘富强,钱建生,王新红,等.基于图像处理与识别技术的煤矿矸石自动分选[J].煤炭学报,2000,25(5):534-537.

LIU Fuqiang,QIAN Jiansheng,WANG Xinhong,et al.Automatic sorting of coal gangue based on image processing and recognition technology[J].Journal of China Coal Society,2000,25(5):534-537.

[6] 张晨.煤矸光电密度识别及自动分选系统的研究[D].北京:中国矿业大学(北京),2013.

[7] 曹现刚,费佳浩,王鹏，等.基于多机械臂协同的煤矸分拣方法研究[J].煤炭科学技术,2019,47(4):7-12．

CAO Xiangang,FEI Jiahao,WANG Peng,et al.Research on coal and gangue sorting method based on multi-arm coordination[J].Coal Science and Technology,2019,47(4):7-12.

[8] 张宁波,刘长友,陈现辉,等.综放煤矸低水平自然射线的涨落规律及测量识别分析[J].煤炭学报,2015,40(5):988-993.

ZHANG Ningbo,LIU Changyou,CHEN Xianhui,et al.Measurement analysis on the fluctuation characteristics of low level natural radiation from gangue[J].Journal of China Coal Society,2015,40(5):988-993.

[9] 徐琦,孔力,程晶晶.基于生态遗传算法的煤矸石自适应模糊模式识别[J].华中科技大学学报(自然科学版),2003,31(12):22-24.

XU Qi,KONG Li,CHENG Jingjing.Adaptive fuzzy pattern recognition of coal gangue based on niche genetic algorithm [J].Journal of Huazhong University of Science and Technology (Natural Science Edition),2003,31(12):22-24.

[10] 刘文中,孔力，瞿坦.煤矸石自适应神经元网络识别方法研究[J].选煤技术,2002(3):22-24.

LIU Wenzhong,KONG Li，QU Tan.Research on adaptive neuronal network identification method for coal gangue [J].Coal Preparation Technology,2002(3):22-24.

[11] 李文斌,杨剑瑜,文建国.光电选矸识别系统的研制与测试[J].仪器仪表学报,2001,22(3):265-268.

LI Wenbin,YANG Jianyu,WEN Jianguo.The manufacture and test of discriminating photoelectric system for selecting waste rock[J].Chinese Journal of Scientific Instrument,2001,22(3):265-268.

[12] LENZ I,LEE H,SAXENA A.Deep learning for detecting robotic grasps[J].The International Journal of Robotics Research,2015,34(4-5):705-724.

[13] VARLEY J,WEISZ J,WEISS J,et al.Generating multi-fingered robotic grasps via deep learning[C]//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS),2015:4415-4420.

[14] REDMON J,ANGELOVA A.Real-time grasp detection using convolutional neural networks[C]//2015 IEEE International Conference on Robotics and Automation (ICRA),2015:1316-1322.

[15] PINTO L,GUPTA A.Supersizing self-supervision:Learning to grasp from 50k tries and 700 robot hours[C]//2016 IEEE International Conference on Robotics and Automation(ICRA),2016:3406-3413.

[16] GUALTIERI M,TENPAS A,SAENKO K,et al.High precision grasp pose detection in dense clutter[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS),2016:598-605.

[17] KOTSIANTIS S,KANELLOPOULOS D,PINTELAS P.Data preprocessing for supervised leaning[J].International Journal of Computer Science,2006,1(2):111-117.

好消息！

小白学视觉知识星球

开始面向外开放啦

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~