深度学习 数码管_创新研发基于深度学习的可见光智能检测技术
" 随着国家智能电网战略布局的不断实施，依托于巡检机器人的变电站智能巡检技术必将逐步取代人力，成为电网巡检的主流。国电瑞源智能巡检机器人搭载基于可见光的智能检测技术实现输电设备异物检测、变电站仪表读数等功能，可及时排查输电设备安全隐患；准确、快速、可靠地完成不同环境下各种仪表的读数，实现变电站自动化、智能化巡检。"
1
背景及意义 变电站往往建设在四周空旷的城市边缘地带，且主要设备安置在室外，输电线路电压高，危险性强；人工管理众多设备仪表不仅存在人身安全隐患，而且大量重复的管理任务会降低效率及精度。此外，裸露的设备经常会受到外来“异物”的侵扰。针对上述问题，国电瑞源公司研发出变电站智能巡检机器人，可实现全天候，高效率、高精度地执行变电站巡检工作任务，机器人的“双眼”可实时获取外部环境的红外以及可见光图像、视频信息。其中，可见光图像传入搭载智能算法的机器人“大脑”，可提供如下功能： (1)变电站智能仪表读数功能。变电站是电力网络中的枢纽点，对电力网络的稳定运行起着至关重要的作用，工作人员需要随时监测变电站中的仪表读数，以便在短时间内发现异常情况，并及时处理事故。变电站中常见的仪表类型包括指针式仪表和数显式仪表，根据中商产业研究院数据库统计，2018年1月至7月全国电工仪器仪表产量同比增长4.4%，截至2018年7月，电工仪器仪表产量高达12253.5万台，7月电工仪器仪表产量高达1890.4万台，同比增长5.1% [1] ，由此可见，仪表在电力行业中起到越来越重要的作用。大多数传统仪表并没有通信接口，需要读取仪表进行数据记录，人工读表的方式成本高且效率低，并且很多仪表悬挂在背景复杂，位置较高的地方，给人工读表造成很大的困难。国电瑞源智能机器人搭载基于卷积神经网络、循环神经网络的深度学习算法，实现全自动化，完全摆脱人为干预的智能仪表读数、对光照、仪表高度、仪表倾斜等干扰均具有良好的鲁棒性。 (2)变电站异物检测功能。智能机器人在对变电站设备状态执行巡检工作任务的同时，对变电设备中有无悬挂异物进行检测，当发现有外来异物悬挂时提供报警等指示标识功能，保障变电站设备的安全运行。随着近几年图像处理算法的飞速发展，基于计算机视觉技术的缺陷、异物检测算法也在不断的提升 [2] 。对于异物，或者外来物体的检测与跟踪的算法，在视频应用中主要的研究是采用放置固定摄像机，对连续的输入帧进行高斯背景建模，在这其中位置相对固定的“场景”形成背景图像模型，当有外物进入图像中时则被背景模型自动的分割为前景，可对其进行物体分割、跟踪等处理 [3] 。虽然变电站中的各类型设备都已安置完毕，位置、形态长期固定，为背景模型的算法提供了有利条件。巡检机器人携带的是一台移动式摄像机，穿梭于各个电力设备之间采集待检测设备的图像，但是系统无法支持对每个设备的周边环境进行背景建模，所以这种算法并不适合用于巡检机器人。为此，巡检机器人需要拥有智能识别并定位异物的能力，国电瑞源智能巡检机器人搭载基于卷积神经网络的深度学习算法，采用基于改进YoloV3的目标检测技术，实现精度与速度的双赢，让机器人真正“识别”异物并定位异物位置，及时报警通知工作人员消除安全隐患，为变电站的安全防护提供可靠的保障。
2
国内外研究现状 指针式仪表自动识别技术的研究最早起步于国外的研究团队。随着数字图像处理技术的迅速发展，大量关于指针式仪表读数识别技术的先进算法涌现。Sablatnig 等 [4] 最早在 1994 年连续发布两篇文章提出了一种运用约束条件设计的模拟显示仪表的自动读数装置。随后几年该团队一直致力于基于机器视觉的自动仪表读数的研究，并取得了丰硕的成果。Alegria 等 [5] 在 2000 年的时候提出利用计算机视觉对模拟和数字测量仪器进行自动校正的方法，显示了国外研究者在该领域的先进性和引领性。哈尔滨工业大学紧跟国外研究团队的步伐，1995 年便提出了针对指针式仪表读数识别技术研究的成果。文献 [6] 利用数字图像处理技术提出了一种新颖的指针式仪表读数方法，实现了比人眼目视准确度更高的自动识别和判读。1996年，哈尔滨工业大学的郭子海等 [7] 首次提出利用图像识别的概念来判读指针式仪表的读数。该方法根据仪表盘是圆形和指针是直线的特点，利用霍夫变换(Hough Transform)判读指针读数。很明显，该方法计算量大并且算法条件要求苛刻难以做到实时读数，后来都逐渐被淘汰。近年来，针对工业仪表识别的需求，智能化仪表识别方案得到了更加广泛的关注。2015 年，重庆大学的张文杰等 [8] 提出了一种基于视觉显著性区域检测的指针式仪表读数识别算法，解决了仪表图像容易受环境因素影响、精度低等问题。该算法虽然在不同光照条件下能较好的提取指针区域，但是忽略了仪表表盘定位、仪表倾斜等问题，在适应性上尚可以改进。2017年，中国北方车辆研究所的邢浩强 [9] 等针对仪表定位困难的问题提出一种基于卷积神经网络模型定位仪表在视野下仪表的位置，然后利用霍夫变换检测表盘和指针，完成读数识别。该算法虽然更近一步提出解决仪表位置定位的问题，但同时忽略了光照影响、仪表倾斜、以及不同形状仪表等问题，在普适性上仍具有改进空间。现有的指针式仪表读数识别算法存在的主要问题在于，这些算法只适用于某种特定类型的仪表，而仪表图像数据基本都是精心准备的实验数据，忽略了真实自然环境中可能存在反光、复杂背景、光线不均等因素的影响。如果更换为其他类型的仪表图像或者其他场景下的仪表图像，当获得的仪表图像干扰较多时，系统处理会变慢，最糟糕的情况下可能会导致算法失效，普适性较差。这也直接影响了现有指针式仪表读数识别算法的大规模应用。 数字式仪表读数识别问题归根结底在于解决数字字符识别的问题。1998年，美国的LeCun等收集整理了一份包含70000张手写数字图像的数据集MINIST [10] 。该数据集是由人工手写的0~9的数字组成。随着机器学习和深度学习技术的快速发展，22年时间该数据集的准确率已经从最开始的88.0% [10] 提高到了99.79% [11] ，超过了人类的识别水平(准确率98.0%)。然而，只有少部分的数字式仪表的读数识别可以利用MNIST数据集的经验来实现，例如燃气表、老式电压表等。因为MNIST 数据集中的数字与常见的数字式仪表中的数字有所不同。常见的数字式仪表中的数字基本都是数码管显示的数字。每个数字都是由1~7段发光二极管组成，数字图像具有中断不连续的特点。这一特点直接影响了数字式仪表读数识别的发展。到目前为止，针对数字式仪表识别的研究，已经提出了支持向量机(Support Vector Machine，SVM)、投影法、BP(Back Propagation)神经网络、穿线法、遗传算法(Genetic Algorithm)、卷积神经网络(Convolutional Neural Network, CNN)、颜色特征提取等算法，但是目前这些算法仍然存在数字区域定位不精准和读数识别准确率低等问题。 目前，对变电站异物(主要为鸟窝、塑料袋等)的检测主要是人工分析视频图像并判断和标记，这种人工的监测方式耗时耗力，且无法及时准确的发现并排除异物，因此对异物进行自动识别检测技术是必要的。近年来，基于图像处理的接触网状态监测研究已经在国内开展，通过拍摄接触网沿线的车载视频，应用图片处理技术自动识别视频中到故障信息。文献 [12] 根据鸟巢通常出现在电线杆塔横担区域这一特点，利用鸟窝担颜色特征和接触网塔架结构特征建立分类模型，能够取得较好检测精度和抗干扰性。文献 [13] 分析了接触网设备上的鸟巢图片，发现几乎所有的鸟巢通常搭建在接触网设备的几个固定位置，对疑似鸟窝对关键区域初步提取HOG特征，通过SVM分类器进行特征对精确提取，能取得较好的检测效果。文献 [14] 提出了引入了支持向量机对接触网故障识别方法，并从鸟窝对颜色，形状，相对空间位置等方面分析鸟巢等特征并建模。文献 [15] 结合鸟巢筑巢特点，提出了一种基于鸟窝和硬横梁相对位置不变性等检测方法。虽然上诉方法能够识别图像上的鸟窝，但是都是根据一定的先验知识建立某种模型来完成的。其无法满足大样本等特征提取训练，识别种类与精度受到限制。深度学习技术目前越来越多地应用于图像识别领域，其自动训练参数并提取特征的特点，使得机器人可以更加智能精确地分类并定位出变电站异物。3
基于深度学习的智能检测技术3.1 仪表智能读数
3.1.1 算法介绍
上述仪表自动识别技术的研究各自解决了仪表的定位、仪表倾斜、光照等环境影响、仪表指针提取等问题，但没有人提出可以综合考虑前述所有问题并有效解决的算法方案；在工业产品中，这些算法是不够成熟的，不具备仪表读数的普适性以及鲁棒性，国家电网对于智能巡检机器人的仪表读数要求为读数误差不超过仪表真实读数的4%。国电瑞源智能巡检机器人搭载一套成熟的指针式以及数字式仪表读数算法，该算法针对每天不同时刻光照影响、各种仪表倾斜角度、不同量程以及表盘指针类型的指针式仪表均具有良好的检测能力，实测读数误差不超过4%。其中，指针式仪表算法流程如图2所示，数字式仪表算法流程如图3所示：
3.1.1.1 指针式仪表读数算法
(1)可见光图像预处理：国电瑞源智能巡检机器人智能导航系统判断机器人达到巡检位置后，自动驱使云台转动并对准待拍摄位置拍摄高清图像，受到不同时刻光照影响，机器人所拍摄图像可能过暗抑或背景过亮，甚至由于物体反射或折射光线产生不规则光斑，因此，算法对原始图像进行图像中值滤波、直方图均衡化等图像预处理操作，消除噪声、缓解光照干扰，提高后续算法精度。 (2)目标检测算法仪表定位：预处理后的图像是整个含有仪表的大场景图像，因此需要目标检测裁剪出仪表区域。国电瑞源智能巡检机器人搭载主流目标检测算法，针对不同精度以及检测速度需要，提供可用的Faster-RCNN、SSD、YOLO等优秀的目标检测算法实现，公司拥有丰富的仪表检测数据集以及数据集仿真能力，实测仪表定位准确率达到100%。 (3)仪表倾斜判定：变电站实际安装的指针式仪表中，有很大一部分存在着表盘倾斜，这会影响仪表最终读数，国电瑞源智能巡检机器人通过大量数据集训练，搭载基于ResNet的图像分类算法判定仪表是否倾斜，并提供倾斜校正算法校正表盘竖直。 (4)仪表椭圆变形校正：实际安装的指针式仪表除了存在表盘倾斜的问题，由于其多数安装于高于机器人水平视角的高度，机器人需要仰视拍摄仪表图像，这会造成表盘的椭圆变形失真，影响后续指针及刻度的分割提取。国电瑞源智能巡检机器人搭载基于深度学习的语义分割算法U-Net等算法，分割出仪表语义级椭圆区域，并采用仿射变换对变形的椭圆仪表进行校正，使其回归水平拍摄时采集到的图像样式。 (5)最终读数：要进行仪表最终读数，仪表的量程以及指针指向的位置是必不可少的信息。国电瑞源智能机器人搭载基于深度学习的OCR算法CRNN等算法读取表盘中刻度分度值，并使用语义分割算法U-Net等算法分割出刻度及指针，获取指针所在刻度区间并读取最终读数。3.1.1.2 数字式仪表读数算法
(1)可见光图像预处理：国电瑞源智能巡检机器人智能导航系统判断机器人达到巡检位置后，自动驱使云台转动并对准待拍摄位置拍摄高清图像，受到不同时刻光照影响，机器人所拍摄图像可能过暗抑或背景过亮，甚至由于物体反射或折射光线产生不规则光斑，因此，算法对原始图像进行图像中值滤波、直方图均衡化等图像预处理操作，消除噪声、缓解光照干扰，提高后续算法精度。 (2)数字仪表一级定位：与指针式仪表相同，机器人所拍摄的原始图像是包含待检测仪表在内的大场景图像，故使用大量训练完成的目标检测算法进行数字仪表一级定位，即识别并定位出整个数字式仪表所在区域，并对图像进行裁剪，得到视场中仅有数字仪表的高清图像。 (3)数字仪表二级定位：步骤(2)中裁剪得到的数字仪表图像并不全部有用，事实上，数字仪表有用区域仅为数码管显示或LED显示数字读数的区域，故在(2)所得到图像的基础上再次使用目标检测算法定位出数码区域，并裁减图像以供后续使用。 (4)数字区域倾斜校正：类似于指针式仪表，数字仪表也存在仪表放置倾斜的问题，倾斜的数字区域会影响数字读数的精度。而目标检测算法仅能以标准矩形定位出数码区域，智能巡检机器人采用基于深度学习的文本检测算法EAST等算法在目标检测区域基础上更加精细地以可倾斜矩形框定位出数码区域并得到数码区域倾斜角，对数码区域进行倾斜校正，得到完全水平的数码区域。 (5)数字区域读数：针对最终得到的水平数码区域，国电瑞源智能机器人提供两套算法实现最终读数，一种为基于深度学习的CRNN文本识别算法，该算法可直接读取连续文本的读数结果，另一种为三级目标检测算法，对数码区域中每个数字进行检测并识别，并合成最终读数。3.1.2 产品能力
国电瑞源智能巡检机器人针对指针式及数字式仪表实现了快速、准确、鲁棒性强、适用性广的仪表读数能力，此外，不仅针对指针式及数字式常见仪表，变电站常见的油位计、呼吸器、避雷器、刀闸、分合储能等仪表，智能机器人均具备可靠的检测能力。下图列出部分智能巡检机器人读数结果：
△ 图4 指针表定位 
△ 图5 指针表校正及识别结果(误差:2.36%,3.22%) 
△ 图6 油位计定位
△ 图9 呼吸器识别结果 
△ 图10 避雷器定位 
△ 图11 识别结果
3.2 异物检测技术
3.2.1 算法介绍
第二章中所述现有的异物检测都根据一定的先验知识建立某种模型来完成的。其无法满足大样本等特征提取训练，识别种类与精度受到限制。国电瑞源智能巡检机器人搭载基于改进YoloV3的目标检测算法，通过大量训练集训练使机器人具有准确且快速的异物检测功能。机器人一旦发现潜在异物，会将带有异物的图像回传至服务器并且连接数据库写入发现异物的具体信息，提示工作人员及时清理异物，保障变电站安全。下图为改进的YoloV3目标检测算法网络结构以及异物检测算法流程图：
△ 图12 改进的YOLOv3网络结构 
△ 图13 异物检测算法流程
3.2.2 产品能力
国电瑞源智能巡检机器人针对变电站异物有着实时准确的检测识别并报警的能力，下图列出部分异物检测识别结果：
△ 图14 异物检测识别结果
4
发展方向 随着国家智能电网战略布局实施，未来机器人市场前景会更加广阔，机器人产品也会向着技术智能化，功能多元化，产品批量化等方向发展。广阔的前景带来的不仅仅是机遇，同时也会迎来更多的技术上、市场上的挑战。 科技产品公司想要立于不败之地，技术是根本。在未来，搭载更加尖端智能检测算法和异物检测算法的机器人产品将会进一步取代人力，成为变电站巡检任务的主要完成力量。在技术革新使算法精度不断提高的同时，机器人机载运算设备性能的提升将会进一步在保证精度的同时提高速度，搭载移动式GPU平台的智能机器人将不断加快巡检任务完成速度，实现精度与效率的双赢。参考文献
[1]中商产业研究院.仪器仪表制造业行业数据[OL]. http://s.askci.com/news/chanxiao/20180 821/1344541129489.shtml.中商产业研究院, 2018-08-21. [2]LOWE D. Distance image feature from scale ⁃ invariant keypoints [J].International Journal of Computer Vision,2004,60,91⁃100. [3]邓亚丽，毋立芳，李云腾.一种有效的图像阴影自动去除算法[J].信号处理，2011，27(11)：1724⁃1728. [4]J.Deng,W.Dong,R.Socher,etal.Imagenet:A large-scale hierarchical image database[C].In: 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009, 248-255. [5]E.C.Alegria,A.C.Serra.Automatic calibration of analog and digital measuring instruments using computer vision[J]. IEEE Transactions on Instrumentation and Measurement, 2000, 49(1): 94-99. [6]张凤翔,赵辉,于汶.采用图象测量技术实现指针式仪表示值的智能判读[J].计量技术,1995, (9): 28-30. [7]郭子海,郭健,谭志强.用图象识别概念判读指针式仪表读数的研究[D].哈尔滨：哈尔滨工业大学,1996. [8]张文杰,熊庆宇,张家齐,等.基于视觉显著性的指针式仪表读数识别算法[J].计算机辅 助设计与图形学学报,2015,27(12):2282-2295. [9]邢浩强,杜志岐,苏波.变电站指针式仪表检测与识别方法[J].仪器仪表学报,2017,38(11):2813-2821. [10]Y.Le Cun,C.Cortes,C.J.C.Burges.The MNIST database of handwritten digits [DB/OL]. http://yann.lecun.com/exdb/mnist/, 1998. [11]L.Wan,M.Zeiler,S.Zhang,etal.Regularization of neural networks using dropconnect[C]. In: International Conference on Machine Learning, 2013: 1058-1066. [12]黄一鸣，袁天辰，杨俭.基于支持向量机的接触网故障识别方法研究[J].计算机仿真，2018,35(11):145-152. [13]祝振敏，谢亮凯.基于相对位置不变性的接触网鸟巢识别检测[J].铁道科学与工程学报，2018,15(4):1043-1049. [14]葛雯，宫婷，王媛，等.基于深度学习的目标检测算法[J].微处理机，2019,40 (3):9-33. [15]张义莲，陈咏，万迪明，等.基于粗-精搜索策略的电线塔鸟巢检测[J].信息技术，2017(3):104-109.
关于国电瑞源
北京国电瑞源科技发展有限公司成立于2003年，总部位于北京丰台区，旗下拥有国电瑞源(西安)智能研究院有限公司、北京国电瑞源科技发展有限公司西安智能制造分公司及天津瑞源精测智能科技有限公司，拥有强大的智能机器人研发制造团队，并与天津大学精密测试技术及仪器国家重点实验室和西北工业大学航天学院长期紧密合作。 公司主要从事电力、水利、市政、交通、化工及公安系统等行业安全运行、安全监测、检测、智能巡检等技术服务。在不同电压等级的变电站、通信机房、配电所、城市综合管廊、水利电力隧道和输水管道等场所推出了具有国内领先水平的一系列产品，秉承“科技创新 智能服务”的发展理念，专注面向电力、水利、市政、交通、化工及公安系统等行业用户，提供智能巡检、运行维护等服务。
温馨提示
全国电力机器人技术创新与应用发展论坛
暨第四届电力机器人专家工作委员会年会
(点击可查看会议通知)⏰ 2020年8月27-28日
? 贵州省贵阳市? 李明洲 15369663967
扫码即可参与会议报名
本周热点▼ | 2020年第六届电力行业无人机巡检技术交流会日程公布！ | 2020年第六届电力行业无人机巡检技术交流会最全嘉宾信息来啦！ | 牛捷：快速发展输电智能运检技术，实现运维检修方式全新变革
| 无人机技术应用系列成果一 | 重庆篇
| 首期电力行业无人机巡检作业人员专业能力评价培训班在山东启动
