yolov5的TensorRT部署【tensorrt+cudnn@主机】
1、版本问题
（1）TensorRT的ONNX解释器是针对Pytorch版本编译的，如果版本不对应可能导致转模型时出现错误。
（2）主机环境：pytorch1.8.1+cuda11.1
2、Pytorch2ONNX
主机上exp305权重可用，尝试转ONNX，命令如下：
python export.py --weights runs/train/exp305/weights/best.pt --img 640 --include engine onnx 成功导出best.onnx到runs/train/exp305/best.onnx
3、YOLO2TensorRT
export可以直接导出tensorrt，参数是--include engine，自动下载了tensorrt-0.0.1
包不能用：
No module named 'tensorrt'
安装下载TensorRT(这里是错误方法，可直接跳到下面正确方法)
参照别人的版本：
尝试更换tensorrt版本：
pip uninstall tensorrt因为看到英伟达官网上只有8.2有ubuntu20.02版本，所以下载了这个版本
下载安装了trt8.2，仍然不行，no module named 'tensorrt'：
用dpkg安装：
还是不行。
版本不对需要不同的依赖：
准备重新来，卸载deb包：
查找tensorrt包：
dpkg -l |grep tensorrt
卸载这个包：
sudo dpkg -P nv-tensorrt-repo-ubuntu2004-cuda11.4-trt8.2.1.8-ga-20211117dpkg -r 卸载。
dpkg -P 彻底卸载，包括配置文件等。
卸载完之后用dpkg找不到包了：
尝试下载别人博客中的版本：
下载了这个：
下面是正确安装方法：TensorRT
解压：
tar zxf TensorRT-8.0.1.6.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz
移动：
sudo mv TensorRT-8.0.1.6 /opt
环境变量
gedit ~/.bashrc
添加
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/TensorRT-8.0.1.6/lib
source ~/.bashrc
制tensorRT目录下 lib、include文件夹到系统文件夹（或者将这两个文件夹路径添加到.bashrc文件中）
cd /opt/TensorRT-8.0.1.6
sudo cp -r ./lib/* /usr/lib
sudo cp -r ./include/* /usr/include转到我的conda环境
conda activate project1
cd python
pip install pycuda
pip install tensorrt-8.0.1.6-cp39-none-linux_x86_64.whl
安装成功：
注意选择对应python版本的whl
下载安装CUDNN：
官方教程：
Installation Guide :: NVIDIA Deep Learning cuDNN Documentation 
解压：
tar -xvf cudnn-11.1-linux-x64-v8.0.5.39.tgz
cd cuda
cd include
sudo cp cudnn*.h /usr/local/cuda/include
挺奇怪的，解压后生成这两个东西，灵活变通一下路径复制文件：
cd ../
sudo cp -P ./lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
测试成功！
继续export
报错：
猜测可能是显卡驱动的原因，更换了460，495都不能用
换了回来，猜测可能是tensorrt版本的问题，准备换7.2，找到了支持cuda11.1的最低版本7.2，但是只有ubuntu18的版本，希望能支持。
删除TensorRT8环境
cd到opt下用（sudo rm -rf 文件夹）的命令删除tensorrt8文件
到conda虚拟环境下删除whl
pip uninstall tensorrt-8.0.1.6-cp39-none-linux_x86_64.whl
根据/home/epic-l/下载/TensorRT-8.0.1.6.Linux.x86_64-gnu.cuda-11.3.cudnn8.2/TensorRT-8.0.1.6/lib的内容到opt/lib下删除文件
用sudo权限都删掉：
到usr/include 下删除文件：
安装TensorRT-7.2.1.6
前面的步骤都一样，但是这个最高只能支持python3.7
新的conda环境python=3.7：
conda create -n tensorrt python=3.7
pip install pycuda
pip install tensorrt-7.2.1.6-cp37-none-linux_x86_64.whl
pip install -r requirements.txt
最后还是报错了：
4、推理测试
yolov5的detect.py中集成了onnx和tensorrt的推理
还有opencv的ONNX推理：
尝试进行推理
python detect.py --weights runs/train/exp305/weights/best.engine --source ../datasets/coco128/images/train2017
效果很差，但是可以看到一个预测出来是正确的，可能是NMS没压住，干扰置信度都太高了，可以试着研究一下什么原因。