python中的tensorRT环境部署
本次环境部署，是在docker下，硬件cuda11.2，双GPU；需要的tensorRT8.2.1，从tensorRT安装包名称上，就可以得到匹配的CUDA和cudnn版本分别是：CUDA10.2，cudnn8.2。以此为基础开始环境配置
1、首先根据自己使用的硬件型号在官网拉取镜像
docker pull nvidia/cuda:10.2-cudnn8-devel-ubuntu18.04
2、查看镜像的ID
docker images
3、创建docker容器
nvidia-docker run -p 10035:22 -it --runtime=nvidia -v /……/tensorrt8.2.1:/home --name tensorrt1.8.2 拉取镜像的ID /bin/bash
4、查看是否存在cuda和cudnn并检查版本是否正确
cat /usr/local/cuda/version.txt #CUDA Version 10.2.89
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 #查看cudnn版本
dpkg -l | grep cudnn #不同版本查看cudnn的命令不同
5、如果发现，cudnn版本并非是8.2，则需要手动下载安装包进行替换，下载地址在这里
然后依次运行以下命令即可：
tar -xvf cudnn-10.2-linux-x64-v8.2.1.32.tgz
cp /……/cuda/include/cudnn.h /usr/local/cuda-10.2/include/
cp /……/cuda/lib64/lib* /usr/local/cuda-10.2/lib64/
chmod a+r /usr/local/cuda-10.2/include /usr/local/cuda-10.2/lib64/libcudnn*
6、安装Anaconda，此处参考了其他大佬的文章
#更新
apt-get update
apt-get install -y wget
#下载安装anaconda
wget https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
chmod +x Anaconda3-5.3.0-Linux-x86_64.sh
./Anaconda3-5.3.0-Linux-x86_64.sh
安装完成后需要重新启动容器
7、创建conda虚拟环境并安装python3.7
conda create -n tensorrt8.2.1 python=3.7
激活新创建的虚拟环境
conda activate tensorrt8.2.1
8、在官网下载TensorRT的安装包，然后进行解压
tar -zxvf TensorRT-8.2.1.8.Linux.x86_64-gnu.cuda-10.2.cudnn8.2.tar.gz
9、安装vim，添加环境变量
apt-get update
apt-get install vim
vim ~/.bashrc
打开.bashrc后在最后添加
export LD_LIBRARY_PATH=/解压TensorRT的路径/TensorRT-8.2.1.8/lib:$LD_LIBRARY_PATH
保存并退出后，命令行运行以下命令，完成环境变量的配置
source ~/.bashrc
会发现退出了虚拟环境，因此需要再次激活tensorrt8.2.1环境
conda activate tensorrt8.2.1
10、进入TensorRT的解压路径下的python文件，安装python合适版本的tensorrt
cd /……/TensorRT-8.2.1.8/python/
pip install tensorrt-8.2.1.8-cp37-none-linux_x86_64.whl
11、测试是否安装成功；若没有立刻成功，重启容器即可
import tensorrt
print(tensorrt.__version__)
>>>8.2.1.8
12、最后安装需要的其它包
pip install pycuda #安装pyCUDA
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=10.2 -c pytorch #安装pytorch
apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
pip install opencv-python #安装cv2
apt install libgl1-mesa-glx
如果你调用这些包没问题，就说明环境已经配置成功，接下来就可以开启TensorRT的探险之旅啦~
温馨提示，模型转换和部署的过程中，一定要确保各个包的版本都是对应！！！