基于YoloV5的使用手机行为检测及在边缘设备部署实现

目录

一、背景

二、配置环境

三、使用手机行为检测数据集

四、租用云端GPU进行模型训练

五、PC端验证训练效果

六、Aidlux端的模型推理测试

七、改进及拓展


一、背景

现代社会“低头族”越来越多,过马路时低头玩手机,操作岗位上工作时玩手机,甚至有的骑车时也在玩手机等等,存在着不同程度的交通安全隐患、安全操作隐患等等。因此,开发出一个玩手机的行为检测系统,以规范人们的玩手机行为,还是具有很大意义的。

本项目是基于YoloV5做的玩手机行为检测,深加工后可落地于行人玩手机监测等安全交通、岗位玩手机等安全生产、儿童玩手机等智慧家居等实际应用场景。

二、配置环境

该项目主要是应用VSCode(或Pycharm)进行代码调试,通过Aidlux手机App软件实现在边缘设备上的部署。

AIdlux主打的是基于ARM架构的跨生态(Android/鸿蒙+Linux)一站式AIOT应用开发平台。其具体介绍请参见文章《Aidlux边缘设备简介》。

VScode软件的安装、配置及使用和Aidlux边缘设备的软件安装及使用请参考文章《Aidlux&VScode编程调试及AI案例测试》,文中有详细步骤指导完成。

三、使用手机行为检测数据集

1.该项目使用的是具有8201玩手机图片的数据集,含有jpg格式的图像及与其相对应的xml和txt格式的标签。(有需要者可联系)

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第1张图片基于YoloV5的使用手机行为检测及在边缘设备部署实现_第2张图片

2. 将数据集清洗,并分成训练集与测试集。

①通过标签文件名对比图像文件名,获得对应的图像,去除没有标签的图像;也可根据图像文件名对比标签文件名,去除没有图像的标签;也可两者都进行。代码较简单,参见《图像数据集与标签数据集名称对比筛选的代码示例》,文中仅展示第一种方式。

②将数据集按8:2比例拆分为训练集与测试集,代码段参见《如何将原始数据集分为训练集与测试集》

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第3张图片

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第4张图片

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第5张图片

四、租用云端GPU进行模型训练

具体如何使用云端网盘,租用服务器,和创建实例请参考文章《通过云服务器租用GPU进行基于YOLOV5的人体检测模型训练》,里边有详细操作步骤。

1将已经编写调试好的代码打包成zip格式的压缩文件,和刚刚做好的数据集打包成zip格式的压缩文件,传到云端网盘。

2.租用实例后,解压缩打包文件。

3.在“JupyterLab”下新建终端,并运行‘file_generate_txt.py’文件,生成现在训练集图像与测试集图像的path,注意在py文件中要把文件path修改到在网盘中对应的path。

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第6张图片

 最后的得到统计image path的train_txt.txt与label_txt.txt文件。

 4.检查并修改data.yaml文件,如图所示,保证训练集与测试集path正确,修改检测种类和类型name。

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第7张图片

5.修改train.py文件中的weight参数path、data文件path、hyp文件path和cfg文件path,本次训练用的是YoloV5s的模型配置和参数。 然后就可以开始训练了。基于YoloV5的使用手机行为检测及在边缘设备部署实现_第8张图片

6.训练完成,可以在runs文件夹中看到训练过程中产生的参数文件。并将最优的模型参数文件‘best.pt’下载到本地,进行使用。 

五、PC端验证训练效果

在PC端修改并运行'detect_image.py'文件,查看验证效果。注意代码中path的更改。

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第9张图片

 同样的,运行“detect_image.py”文件,可查看视频显示效果。

六、Aidlux端的模型推理测试

具体详细的操作步骤可参考《算法模型在Aidlux端的模型推理测试实现详解》

1.在tensorflow框架下,运行export.py文件,生成phone_best-fp16.tflite文件。

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第10张图片

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第11张图片

 2.我们使用Netron,打开刚刚的yolov5n_best-fp16.tflite文件。点击最下方的输出单元,可以看到输出的信息。

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第12张图片

3.将代码上传到Aidlux的Home下面,在VSCode中使用SSH,连接到Aidlux。

4.打开aidlux文件夹中的yolov5.py并修改,进行视频推理测试。

基于YoloV5的使用手机行为检测及在边缘设备部署实现_第13张图片

 5.运行aidlux文件夹中的“yolov5.py”程序,在手机版本的Aidlux和PC端网页的Aidlux中,都可以看到推理的显示结果。

phone_check

七、改进及拓展

该项目只是最基本的行人使用手机检测,结合人脸识别和人体行为追踪算法,可将信息记录并推送给相关人员。后面有机会会进一步更新。

你可能感兴趣的:(人工智能,目标检测,计算机视觉,神经网络,视觉检测)