模型效果:
在上文中,我们制作了数据集,并利用数据集进行了模型的训练,利用静态图片和视频对模型的检测效果进行了检验,发现效果还是不错的。
前两张为静态图片检测,后一张为视频检测效果截图。
但是模型要想部署在算力微弱的树莓派上,还需要进行两次模型转化才能运行在NCS上进行前向推理。
模型转化:
第一次转化:(.weight-->.pb)
这里的模型转化OpenVINO给出了官方指南https://docs.openvinotoolkit.org/latest/_docs_MO_DG_prepare_model_convert_model_tf_specific_Convert_YOLO_From_Tensorflow.html 但是可能会出现错误。
python3 convert_weights_pb.py \
--class_names yolov3-tiny-mine.names \
--weights_file weights/yolov3-tiny-mine_40000.weights \
--data_format NHWC \
--tiny \
--output_graph pbmodels/frozen_yolov3-tiny-mine.pb
执行完上述代码,就能得到Tensorflow支持的模型文件。
第二次转化:(.pb-->.IR)
第二次的模型转化我在windows环境下完成的。
python "C:\Program Files (x86)\IntelSWTools\openvino_2019.1.087\deployment_tools\model_optimizer\mo_tf.py" --input_shape [1,416,416,3] -m "C:\Program Files (x86)\IntelSWTools\openvino_2019.1.087\deployment_tools\model_optimizer\frozen_yolov3-tiny-mine.pb" --reverse_input_channels --tensorflow_use_custom_operations_config "C:\Program Files (x86)\IntelSWTools\openvino_2019.1.087\deployment_tools\model_optimizer\yolo_v3_tiny_mine.json" -n tiny_yolov3 --data_type FP16
树莓派环境配置:
1. 材料硬件:
-
树莓派3B+
-
intel movidius 神经元计算棒
-
显示器、鼠标键盘、读卡器、用于做树莓派系统盘的16GTF卡
-
烧写树莓派系统用的PC(win10)
2. 下载树莓派镜像并解压
树莓派系统镜像使用Stretch版本——2018-11-13-raspbian-stretch
下载链接:http://downloads.raspberrypi.org/raspbian_latest
参考:http://shumeipai.nxez.com/download#os
下载并解压出img文件
3. 烧写镜像
插入16G TF卡,格式化,打开镜像烧写软件Win32DiskImager.exe加载镜像,进行下载:
点write,再yes
烧写成功,拔出TF卡.
4. 启动树莓派
红绿指示灯都会闪就表示系统启动成功,然后等待显示器显示桌面
5. 配置树莓派
使用管理员权限,执行
leafpad /etc/apt/sources.list
在打开的文件中,用#注释掉原文件内容,用以下内容取代:
deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main contrib non-free rpi
deb-src http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main contrib non-free rpi
保存,退出。
使用管理员权限执行:
leafpad /etc/apt/sources.list.d/raspi.list
用#注释掉原文件内容,用以下内容取代:
deb http://mirror.tuna.tsinghua.edu.cn/raspberrypi/ stretch main ui
deb-src http://mirror.tuna.tsinghua.edu.cn/raspberrypi/ stretch main ui
保存,退出。
使用sudo apt-get update命令,更新软件源列表,同时检查您的编辑是否正确。
完成,换成了清华大学的软件源。
6. 安装cmake
再后面的安装中需要cmake,要先安装,执行:
apt install cmake
到这里树莓派的配置就完成了,接下来要开始计算棒toolkit的安装了
7. 下载OpenVINO toolkit for Raspbian安装包:
https://download.01.org/openvinotoolkit/2018_R5/packages/l_openvino_toolkit_ie_p_2018.5.445.tgz
本次使用的版本是2018.5.445,安装请在下面链接中查看最新的安装包版本:
https://software.intel.com/en-us/articles/OpenVINO-Install-RaspberryPI
下载完后包位于Downloads/目录下,打开命令行
cd ~/Downloads/
解压包:
tar -xf l_openvino_toolkit_ie_p_2018.5.445.tgz
8. 配置路径与环境
执行以下命令,会自动对setupvars.sh文件做修改
sed -i "s||$(pwd)/inference_engine_vpu_arm|" inference_engine_vpu_arm/bin/setupvars.sh
再配置环境,有两种做法
一种是临时的,只对该次的窗口有效
source inference_engine_vpu_arm/bin/setupvars.sh
还有永久性的,执行:
leafpad /home/pi/.bashrc
打开.bashrc文件,再最后一行添加一句:
source /home/pi/Downloads/inference_engine_vpu_arm/bin/setupvars.sh
[setupvars.sh] OpenVINO environment initialized
就表示成功了
9. 添加USB规则
将当前Linux用户添加到users组:
sudo usermod -a -G users "$(whoami)"
注:这里要说的是我们现在是root用户,如果打开新窗口的话起始用户是pi,所以出现[setupvars.sh] OpenVINO environment initialized,是对于pi用户来说的,如果在新窗口中用root执行程序,其实并没有成功加载[setupvars.sh] OpenVINO environment initialized,需要自己再执行一遍
source /home/pi/Downloads/inference_engine_vpu_arm/bin/setupvars.sh,才能给root用户配置好OpenVINO environment initialized。
接下来配置USB规则,执行:
sh inference_engine_vpu_arm/install_dependencies/install_NCS_udev_rules.sh
模型部署:
使用github PINTO0309的OpenVINO-YoloV3工程,应该是个日本的工程师写的,特别感谢。
利用工程下的openvino_tiny-yolov3_MultiStick_test.py进行测试,在文件中指定我们转化好的模型文件。
运行。
尽管速度不快,但最快也能达到7-8帧的样子。
本文将训练好的原始模型经过两次转化得到了可以被NCS所支持的模型文件,并搭建好树莓派所需的运行环境,最终将模型部署在树莓派上并完成了测试。下篇文章将介绍,树莓派小车的控制程序以及微信报警程序的实现。