六、基于深度学习关键点的指针式表计识别

基于深度学习关键点的指针式表计识别

提示：网上有太多的方案都是分割思路，思路很好，但是在制作数据的时候太费时间，据统计：分割数据标注一张需要180s-360s；而关键点标注控制在30s-90s。

温馨提示：更多技术交流请在wx上打开视频号搜索----->YAYA视觉，查看实战项目分享

---

---

具体实现流程

提示：算法是基于deeplabv3语义分割模型和openpose姿态估计模型模改成多任务学习模型，包括关键点检测+指针分割两个并行任务，是整个算法的核心中的核心。

1. yolov5表计检测
2. 表盘关键点检测和指针检测
3. 表计矫正以及坐标的变换
4. 拟合出表盘弧形结构，并计算比值
5. 根据比值、量程计算出读数

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、 yolov5表计检测

目标检测就不用多说。该步骤最主要有两个任务，第一，将图像中的表计检测出来；第二，并将每个表计进行分类，为了后面能根据类别配置表盘中的量程。

二、表盘关键点检测和指针检测

该部分是整个算法的核心，需要将关键点检测和分割整合为一个多任务学习模型。关键点检测参考openpose，分割网络参考deeplabv3等主流网络即可。这套算法相较百度的算法（分割刻度和指针）数据标注任务量减轻60%以上，更加的省事，便于优化。
下图是百度的方案：

想知道我的方案吗？那你想象成将刻度变为关键点即可，指针分割道理是一样的。

三、表计矫正以及坐标的变换

将倾斜的表计采用透视变换矫正，并对坐标进行变换。

三、拟合出表盘的弧形结构，并计算比值

根据矫正后的表计所得到的信息，并拟合出表盘结构

三、根据比值、量程计算出读数

最后根据比值、量程计算出具体读数，下图给出的是百分比，没时间转化了，将就用这个图了。

总结

本方案实现：
环境：pytorch、python=3.7、c++
数据标注时间：本方案60s VS 百度方案360s

提示：所以你还愿意采用标注1张图片需要6分钟的方案吗？
一套可靠的方案，让开发、优化、部署、落地都省事。