详解Windows系统安装TensorRT

TensorRT 是 NVIDIA 推出的一款高性能神经网络部署引擎.Windows系统下TensorRT目前不能简单直接通过pip指令自动下载安装, 安装之前还需要提前安装好 CUDA 和 CUDNN.

CUDA和CUDNN安装可参考:

• 详解 Windows 10 安装 CUDA 和 CUDNN

下载TensorRT

1. 进入NVIDIA的TensorRT页面: https://developer.nvidia.com/tensorrt. 点击Download now, 进入TensorRT下载页面. PS: TensorRT页面需要先登录NVIDIA账号, 才会有下载选项.

2. 选择版本, 这里博主选择最新的TensorRT 8.
   
3. 勾选"I Agree To the Terms of the NVIDIA TensorRT License Agreement"
   
4. 选择具体版本, 这里博主选择的是TensorRT 8.5 GA Update 2.
   
5. 选择Zip Packages for Windows下面和自己CUDA版本匹配的ZIP, 点击即可下载.
   

安装TensorRT

1. 解压下载的ZIP文件, 如下：
   
2. 从解压好的文件夹中复制文件到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6, 对应复制路径. PS: 此处的复制需要管理员权限. 此处CUDA的版本v11.6需要根据自身安装的情况而定.

序号	所需复制文件	来源	目标
1	…\TensorRT-8.5.3.1\bin\trtexec.exe	…\TensorRT-8.5.3.1\bin	C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin
2	…\TensorRT-8.5.3.1\include下的所有文件	…\TensorRT-8.5.3.1\include	C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include
3	…\TensorRT-8.5.3.1\lib下的所有lib文件	…\TensorRT-8.5.3.1\lib	C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64
4	…\TensorRT-8.5.3.1\lib下的所有dll文件	…\TensorRT-8.5.3.1\lib	C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib

3. 安装whl文件. 进入文件所在目录, 打开终端, 调用指令安装. PS: 安装时一定要注意whl文件的安装路径. 建议直接使用cd命令, 使终端进入到对应文件目录, 再使用 pip install *.whl 安装.

序号	待安装whl文件	所在文件夹	安装指令
1	graphsurgeon-0.4.6-py2.py3-none-any.whl	…\TensorRT-8.5.3.1\graphsurgeon	pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
2	onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl	…\TensorRT-8.5.3.1\onnx_graphsurgeon	pip install onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
3	uff-0.6.9-py2.py3-none-any.whl	…\TensorRT-8.5.3.1\uff	pip install uff-0.6.9-py2.py3-none-any.whl
4	tensorrt-8.5.3.1-cp38-none-win_amd64.whl 需根据自身python版本选择对应的文件	…\TensorRT-8.5.3.1\python	pip install tensorrt-8.5.3.1-cp38-none-win_amd64.whl

测试

---

⭐️