基于视觉的仪表检测/指针仪表自动识别读数——论文解读

中文论文题目：基于关键点检测的指针仪表读数识别算法研究与应用

英文论文题目：

Research and Application of PointerMeter Reading Recognition AlgorithmBased on Key Point Detection

部分摘要：

        本文在总结概括了关键点检测和传统指针仪表自动读数识别方法的基础上.设计基于深度学习的关键点检测算法，并将其应用到指针仪表自动读数识别任务当中。本文取得的主要研究成果如下:
       1)提出了一种基于MaskRCNN 的关键点检测算法。通过在 MaskRCNN 网络结构的基础上添加偏差分支，修正原有网络因上采样导致的关键点位置偏差实现了网络在关键点检测任务上的定位精度提升。在公开数据集上的实验结果表明，本文提出的算法在各项指标上均有提升，有效提高了关键点的定位准确度。

        2)提出了一种基于关键点检测的指针仪表自动读数识别算法。将传统的指针仪表自动读数识别任务与基于深度学习的关键点检测任务相结合,设计了基于精确关键点检测的指针仪表自动读数识别算法框架,利用关键点检测算法定位刻度线和指针位置，从而进一步实现读数识别。实验结果表明，本文提出的算法对多种指针仪表的识别均有较高的准确度，且对拍摄角度和光照条件等具有很好的鲁棒性。

一、简介  

       本章以变电站中的多种类别的指针仪表作为研究对象，探究能够自动识别仪表读数的方法。指针仪表自动读数任务的关键在于指针仪表的定位以及指针与刻度点之间的角度关系。

二、检测流程    

1、利用第 3 章中提出改进的 Mask RCNN 关键点检测算法对指针仪表的刻度点和指针上的特征点进行精确的位置定位。

再利用指针特征点对指针所在直线进行拟合，从而利用角度关系判断仪表示数。

 

2、提取关键点

关键点的思路，本文在建立指针仪表数据集时，将表盘作为整体，表盘上的各个刻度点作为关键点进行标注，标注的可视化结果如下图 4-5 所示。对于仪表中的每一个大量程的刻度线，取其刻度线的端点作为一个关键点。对于指针直线，则取指针头部、回转中心、指针尾部三个位置作为关键点，用于定位指针直线的位置。以图 4-5 为例，该表为变电站中的一个压力表，量程为0到1，每隔 0.1 的量程有一根大刻度线，取该刻度线的末端作为一个关键点，则表示刻度线的关键点一共有 11 个，表示为s l,s 2,...,s 11;对于指针，取其顶端作为第一个关键点 p1，指针的回转中心作为第二点关键点 p 2，指针尾部的中间位置作为第三个关键点p 3。因此，对于图 4-5 中的表，一共有 14 个关键点，其中刻度线 11个，指针3 个。对于其他类型的表计，使用相同的原则选择关键点。 

对于如上述方式标记的指针仪表关键点数据集，在输入关键点检测网络完成模型训练后,在测试时将会对每一张输入的指针仪表图片检测仪表表盘并得到表盘内的所有关键点信息。之后将可以基于这些关键点信息，完成指针仪表的自动读数。 

3、然后作者利用提取到的关键点，进行圆弧拟合。

 5、指针直线定位，利用角度对刻度进行计算。

角度法通过测量角度识别指针仪表的读数。在上节提取仪表指针的同时，得到了指针所在直线的截距和斜率，同时也确定了指针方向。对于每种仪表，首先通过斜率计算仪表指针和零刻度线间的角度关系，然后通过仪表的量程与角度关系换算出仪表示数。设量程为M，指针与零刻度线间的来角为a，零刻度线与满量程间的夹角为B，则根据角度法，仪表读数V为:

6、实验结果

三、总结
       

         本文提出了一种基于 Mask RCNN 改进的精确关键点检测算法，相比原始的MaskRCNN,本文设计的网络在关键点检测方面具有更高的精确度，并据此提出了基于关键点检测的指针仪表自动读数识别算法框架，该框架具有精确度高、鲁棒性好、适用性广等特点。本文所做的工作总结如下:
         1) 本文介绍了指针仪表自动读数识别的研究背景与意义，对国内外在该领域以及关键点检测领域的研究现状和内容作了总结，概括了指针仪表自动读数识别算法所需的四个步骤，并对已有的方法分步骤进行了详细阐述。

         2）本文对人体关键点检测或姿态估计领域的发展历史进行了回顾，重点介绍了关键点检测领域的经典算法 Mask RCNN 的网络结构以及损失函数通过对 MaskRCNN 的结构设计进行分析，找到了提高关键点检测精度的改进方向，提出了一种基于 Mask RCNN 改进的更精确的关键点检测算法，在公开数据集上取得了较好的效果，并且简单分析了多任务学习对网络性能带来的影响。

       3) 本文将传统的指针仪表自动读数任务与基于深度学习的关键点检测任务相结合，提出了基于精确关键点检测的指针仪表自动读数识别算法框架利用关键点检测算法定位刻度线和指针，实现自动读数识别。实验证明本算法相比传统的算法在精确度、鲁棒性和实用性方面都有了极大的提升。

       本文提出的算法适用于变电站中的多种类型的指针仪表，且对拍摄时指针仪表在视野中的位置、角度以及环境光照等都没有限制，可由巡检机器人或无人机等智能设备拍摄得到，图片获取成本低，相比于传统的指针仪表是识别算法，本文方法具有更强的鲁棒性和适用性，且精度达到了课题系统设计的精度要求，能够应用于变电站真实运行环境。