Jetson Nano配置YOLOv5并实现FPS=25
Jetson Nano配置YOLOv5并实现FPS=25的实时检测（超详细保姆级）
文章目录
- Jetson Nano配置YOLOv5并实现FPS=25的实时检测（超详细保姆级）
-
- 一、版本说明
- 二、配置CUDA
- 三、修改Nano板显存
-
- 1.打开终端输入：
- 2.修改nvzramconfig.sh文件
- 3.重启Jetson Nano
- 4.终端中输入：
- 四、配置Pytorch1.8
-
- 1.下载torch-1.8.0-cp36-cp36m-linux_aarch64.whl
- 2.安装所需的依赖包及pytorch
- 五、搭建yolov5环境
- 六、利用tensorrtx加速推理
-
- 1.下载tensorrtx
- 2.编译
- 3.调用USB摄像头
-
- （1）在tensorrtx/yolov5下备份yolov5.cpp文件，因为如果更换模型时重新推理加速时需要用到该文件。
- （2）然后对yolov5.cpp文件修改为如下内容
- 4.重新编译
- 5.效果
- 七、参考
一、版本说明
JetPack 4.6——2021.8
yolov5-v6.0版本
使用的为yolov5的yolov5n.pt，并利用tensorrtx进行加速推理，在调用摄像头实时检测可以达到FPS=25。
二、配置CUDA
sudo gedit ~/.bashrc
在打开的文档的末尾添加如下：
export CUDA_HOME=/usr/local/cuda-10.2
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-10.2/bin:$PATH
保持并退出，终端执行
source ~/.bashrc
nvcc -V #如果配置成功可以看到CUDA的版本号
三、修改Nano板显存
1.打开终端输入：
sudo gedit /etc/systemd/nvzramconfig.sh
2.修改nvzramconfig.sh文件
修改mem = $((("${totalmem}"/2/"${NRDEVICES}")*1024))
为mem = $((("${totalmem}"*2/"${NRDEVICES}")*1024))
3.重启Jetson Nano
4.终端中输入：
free -h
可查看到swap已经变为7.7G
四、配置Pytorch1.8
1.下载torch-1.8.0-cp36-cp36m-linux_aarch64.whl
下载地址：nvidia.box.com/shared/static/p57jwntv436lfrd78inwl7iml6p13fzh.whl
网盘分享：链接：https://pan.baidu.com/s/1tS51E3a-a-w9_OdCNraoAg
提取码：30qr
说明：建议在电脑上下载后拷贝到Jetson Nano的文件夹下，因为该网站的服务器在国外，可能下载比较慢或网页加载不出来，可以打开VPN进行下载。
2.安装所需的依赖包及pytorch
打开终端输入：
sudo apt-get update
sudo apt-get upgrade
sudo apt-get dist-upgrade
sudo apt-get install python3-pip libopenblas-base libopenmpi-dev
因为下面用pip指令安装时用默认选用的国外源，所以下载比较费时间，建议更换一下国内源，这里提供几种源，当使用某种国内源pip无法下载某一包时可以尝试切换再下载。具体步骤如下：
打开终端输入：
mkdir ~/.pip
sudo gedit ~/.pip/pip.conf
在空白文件中输入如下内容保存并退出：
以下为豆瓣源
[global]
timeout=6000
index-url=https://pypi.doubanio.com/simple
trusted-host=pypi.doubanio.com
以下为阿里源
[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
以下为清华源
[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple/
[install]
trusted-host=https://pypi.tuna.tsinghua.edu.cn
终端输入：
pip3 install --upgrade pip #如果pip已是最新，可不执行
pip3 install Cython
pip3 install numpy
pip3 install torch-1.8.0-cp36-cp36m-linux_aarch64.whl #注意要在存放该文件下的位置打开终端并运行
sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libavcodec-dev libavformat-dev libswscale-dev
git clone --branch v0.9.0 https://github.com/pytorch/vision torchvision #下载torchvision，会下载一个文件夹
cd torchvision #或者进入到这个文件夹，右键打开终端
export BUILD_VERSION=0.9.0
python3 setup.py install --user #时间较久
#验证torch和torchvision这两个模块是否安装成功
python3
import torch
print(torch.__version__) #注意version前后都是有两个横杠
#如果安装成功会打印出版本号
import torchvision
print(torchvision.__version__)
#如果安装成功会打印出版本号
五、搭建yolov5环境
终端中输入：
git clone https://github.com/ultralytics/yolov5.git #因为不开VPN很容易下载出错，建议在电脑中下载后拷贝到jetson nano中
python3 -m pip install --upgrade pip
cd yolov5 #如果是手动下载的，文件名称为yolov5-master.zip压缩包格式，所以要对用unzip yolov5-master.zip进行解压，然后再进入到该文件夹
pip3 install -r requirements.txt #我的问题是对matplotlib包装不上，解决办法，在下方。如果其他包安装不上，可去重新执行换源那一步，更换另一种国内源。
python3 -m pip list #可查看python中安装的包
以下指令可以用来测试yolov5
python3 detect.py --source data/images/bus.jpg --weights yolov5n.pt --img 640 #图片测试
python3 detect.py --source video.mp4 --weights yolov5n.pt --img 640 #视频测试,需要自己准备视频
python3 detect.py --source 0 --weights yolov5n.pt --img 640 #摄像头测试
问题1：解决matplotlib安装不上问题
解决：下载matplotlib的whl包（下方有网盘分享）
问题2：在运行yolov5的detect.py文件时出现 “Illegal instruction（core dumped）”
解决：
sudo gedit ~/.bashrc
末尾添加
export OPENBLAS_CORETYPE=ARMV8
保持关闭
source ~/.bashrc
网盘分享：
yolov5：链接：https://pan.baidu.com/s/1oGLTyUZ9TzEWO1VfxV70yw
提取码：3ran
yolov5n.pt:链接：https://pan.baidu.com/s/1k-EDuIJgKc_9OYubWOhJcg
提取码：oe0w
下载yolov5n.pt文件在https://github.com/ultralytics/yolov5中下载，如图位置所示
matplotlib：链接：https://pan.baidu.com/s/19DanfBYMxKerxlDSuIF8MQ
提取码：fp4i
六、利用tensorrtx加速推理
1.下载tensorrtx
下载地址：https://github.com/wang-xinyu/tensorrtx.git
或者
git clone https://github.com/wang-xinyu/tensorrtx.git
网盘分享：链接：https://pan.baidu.com/s/14vCw3V74bWrT_3QQ-Yk–A
提取码：3zom
2.编译
将下载的tensorrtx项目中的yolov5/gen_wts.py复制到上述的yolov5（注意：不是tensorrtx下的yolov5！！！）下，然后在此处打开终端
打开终端输入：
python3 gen_wts.py -w yolov5n.pt -o yolov5n.wts #生成wts文件，要先把yolov5n.pt文件放在此处再去执行
cd ~/tensorrtx/yolov5/ #如果是手动下载的名称可能是tensorrtx-master
mkdir build
cd build
将生成的wts文件复制到build下 #手动下载的，名称为yolov5-master
cmake ..
make -j4
sudo ./yolov5 -s yolov5n.wts yolov5n.engine n #生成engine文件
sudo ./yolov5 -d yolov5n.engine ../samples/ #测试图片查看效果,发现在检测zidane.jpg时漏检，这时可以返回上一层文件夹找到yolov5.cpp中的CONF_THRESH=0.25再进入到build中重新make -j4，再重新运行该指令即可
3.调用USB摄像头
参考了该文章https://blog.csdn.net/weixin_54603153/article/details/120079220
（1）在tensorrtx/yolov5下备份yolov5.cpp文件，因为如果更换模型时重新推理加速时需要用到该文件。
（2）然后对yolov5.cpp文件修改为如下内容
修改了12行和342行
#include (end - start).count() << "ms" << std::endl;
int fps = 1000.0 / std::chrono::duration_cast<std::chrono::milliseconds>(end - start).count();
std::vector<std::vector<Yolo::Detection>> batch_res(fcount);
for (int b = 0; b < fcount; b++) {
auto& res = batch_res[b];
nms(res, &prob[b * OUTPUT_SIZE], CONF_THRESH, NMS_THRESH);
}
for (int b = 0; b < fcount; b++) {
auto& res = batch_res[b];
//std::cout << res.size() << std::endl;
//cv::Mat img = cv::imread(img_dir + "/" + file_names[f - fcount + 1 + b]);
for (size_t j = 0; j < res.size(); j++) {
cv::Rect r = get_rect(frame, res[j].bbox);
cv::rectangle(frame, r, cv::Scalar(0x27, 0xC1, 0x36), 2);
std::string label = my_classes[(int)res[j].class_id];
cv::putText(frame, label, cv::Point(r.x, r.y - 1), cv::FONT_HERSHEY_PLAIN, 1.2, cv::Scalar(0xFF, 0xFF, 0xFF), 2);
std::string jetson_fps = "Jetson Nano FPS: " + std::to_string(fps);
cv::putText(frame, jetson_fps, cv::Point(11, 80), cv::FONT_HERSHEY_PLAIN, 3, cv::Scalar(0, 0, 255), 2, cv::LINE_AA);
}
//cv::imwrite("_" + file_names[f - fcount + 1 + b], img);
}
cv::imshow("yolov5", frame);
key = cv::waitKey(1);
if (key == 'q') {
break;
}
fcount = 0;
}
capture.release();
// Release stream and buffers
cudaStreamDestroy(stream);
CUDA_CHECK(cudaFree(buffers[inputIndex]));
CUDA_CHECK(cudaFree(buffers[outputIndex]));
// Destroy the engine
context->destroy();
engine->destroy();
runtime->destroy();
return 0;
}
4.重新编译
进入到buid下重新make。注意只要修改了yolov5.cpp就要重新make。
执行
sudo ./yolov5 -v yolov5n.engine #注意要提前插好摄像头
问题：出现Failed to load module “canberra-gtk-module”
解决：
sudo apt-get install libcanberra-gtk-module
5.效果
如下的测试，是在一个公用的行人检测的视频上进行的，如果想用可在如下链接下载：
链接：https://pan.baidu.com/s/1HivF1OifVA8pHnGKtkXPfg
提取码：jr7o
七、参考
1.https://www.bilibili.com/read/cv11869887?spm_id_from=333.999.0.0
2.https://blog.csdn.net/weixin_54603153/article/details/120079220
3.https://github.com/wang-xinyu/tensorrtx/blob/master/yolov5/README.md