基于ncnn 的yolov5,nanodet实现

1.先安装好opencv

2.将模型.pth转化成onnx文件

yolov5的github上有具体的方法

3.安装onnx-simplifier

3.1: pip install onnx-simplifier (具体该工具的作用自行百度)

3.2: python -m onnxsim ./yolov5.onnx ./yolo5-sim.onnx （简化转换得到的onnx）

4. ncnn代码库

4.1ncnn代码库的编译

ncnn编译

make -j4改成make install就能生成install文件夹，方便其他的工程调用

4.2模型转换

基于build文件夹

cd tools/onnx

./onnx2ncnn your-yolov5s-path/yolov5-sim.onnx the-path-to-save/yolov5-sim.param the-path-to-save/yolov5-sim.bin

运行到该步骤时会出现下面的问题,问题出现的原因时下图中的split和crop网络层高在ncnn中没有定义的缘故，我们需要做的是将这个网络层消除：

error

5.ncnn格式模型修改

5.1 去掉不支持的网络层

打开转换得到的yolov5-sim.param文件

前几行的内容如下，我们需要删除的是标红的部分。

param文件删掉标红部分

修改结果如下，其中180是由于之前的189网络层我们删除了10行，并用YoloV5Focus网络层代替，剩180个，而YoloV5Focus网络层中的images代表该层的输入，199代表输出名，这个可以根据标红的位置填写。（转化得到的param文件不一样，前两行也就不一样）

param文件修改后

5.2修改网络的输出shape

当我们基于修改后的网络使用ncnn/examples/yolov5测试时发现图片中会出现一堆乱框，该情况下需要修改网络的输出部分

首先，在yolov5-sim.param中找到网络的输出接口：

图中绿框部分就是最终的网络输出层（由于网络层数设置的区别，不同的网络所在的位置不一样），该层中红框选中的部分就是网络的输出名（要保证yolov5.cpp中调用的输出名和网络的一致性，yolov5.cpp中的调用方式如下C代码）。在并保证输出名一致的情况下，修改黄色框中区域为0=-1，使得最终的输出shape不固定。结果见图：

param文件最后几层修改后

本地测试：ncnn/examples/yolov5.cpp中修改如下部分（只改前两行就行）

yolov5.cpp修改

修改输出接口及对应的anchors

只根据param文件的最后几层修改第4、23、40行就行

yolov5.cpp修改

编译

make -j4

将yolov5-sim.param 、yolov5-sim.bin模型copy到ncnn/build/examples/位置，运行下面命令

./yolov5 image-path

image-path 是存放图片的位置

6.量化or压缩

半浮点压缩为例

./ncnnoptimize yolov5-sim.param yolov5-sim.bin yolov5-sim-opt.param yolov5-sim-opt.bin 65536

onnx转换成ncnn模型后，直接使用上述的命令转换会出现下面的问题：

error

由于YoloV5Focus不涉及参数的计算，故我们只需将.param中的YoloV5Focus名字换成其他已知的，且不参与运行的网络层，如Exp

然后运行命令即可（后面再进行网络输出相关问题的修改即可，至于二者的顺序是否可以改变请自行测试）。

转换完成后再将yolov5-sim-opt.param中的Exp名字改为YoloV5Focus即可。一定要改回来！！！

转换时命令行会出现如下问题

已测试该问题并不影响网络的调用。

over!

参考：https://blog.csdn.net/qq_41669468/article/details/110485396

https://zhuanlan.zhihu.com/p/275989233

Nanodet ncnn实现

1.用nanodet自带的onnx转换工具将ckpt模型转成onnx

python tools/export_onnx.py --cfg_path${CONFIG_PATH}--model_path${PYTORCH_MODEL_PATH}

2.简化模型

python -m onnxsim${INPUT_ONNX_MODEL}${OUTPUT_ONNX_MODEL}

3.onnx2ncnn转成param和bin文件

参考yolov5中4.2步

4.优化模型

Nanodet基于视频的检测

用到的param和bin文件在数梅派ped/nanodet-main/demo_ncnn

笔记本电脑param和bin文件存在toolpackage/ncnn/onnx2ncn和/toolpackage/ncnn-mine/examples/bin-param

一、用自己的use_camera工程

文件在数梅派ped/nanodet-main/use_camera

主cpp文件和nanodet.h里面规定了检测的类别及输入神经网络的图像的size，所以需要根据自己模型的情况修改

这个文件夹里面的ncnn文件夹是NCNN库文件里面的install文件夹

进入build文件夹运行

./nanodet_camera

二、用nanodet自带的ncnn文件夹

文件在数梅派ped/nanodet-main/demo_ncnn

首先要export总ncnn文件夹里面的install的静态库文件

exportncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn