windows11下安装Tensor RT,并在conda虚拟环境下使用

建议仔细读一读NVIDIA官方出的安装教程,里面有windows、linux等安装教程,非常详细,这里再做一下简要总结。

TensorRT主要有三种安装模式、五种安装方式

windows11下安装Tensor RT,并在conda虚拟环境下使用_第1张图片

windows11下安装Tensor RT,并在conda虚拟环境下使用_第2张图片

毫无疑问,在windows系统中,我们只能选择zip安装。

安装tensorRT之前确保电脑安装好了英伟达显卡驱动、cudaToolkit,cuDNN的话不是必须得可以不用安装(官方多次提到目前的TensorRT对cuDNN的依赖很少了)

我的电脑CUDA版本为11.7  cuDNN版本为8.7.0,我这里选择安装TensorRT 8.x ,进入官网下载页面(需要登录)

windows11下安装Tensor RT,并在conda虚拟环境下使用_第3张图片

我这里选择安装TensorRT 8.6 GA for x86_64 Architecture。注意ARM架构的不一样,需要进入 页面仔细确认到底应该下载哪个文件。特别注意,要与自己本地电脑的CUDA版本对应

windows11下安装Tensor RT,并在conda虚拟环境下使用_第4张图片

 

下载zip文件之后,解压,我这里解压到 C:\Program Files\TensorRT-8.6.1.6 ,解压后的文件目录如下图所示:

windows11下安装Tensor RT,并在conda虚拟环境下使用_第5张图片

 下面重点来了,按照官方的说法,我们有两种方式可选

第一种方式:把 C:\Program Files\TensorRT-8.6.1.6\lib文件中所有的DLL文件复制到CUDA的安装目录下bin目录下(比如:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin),不过我并不推荐这种方式,会使文件结构混乱。

第二种方式:直接配置TensorRT的环境变量。具体做法是把 C:\Program Files\TensorRT-8.6.1.6\lib 目录添加到系统环境变量中

windows11下安装Tensor RT,并在conda虚拟环境下使用_第6张图片

之后我们就可以在虚拟环境中安装TensorRT了,比如我的anaconda中有一个torch_work虚拟环境(python==3.10)。

下面为该虚拟环境安装TensorRT,首先命令行切换到 C:\Program Files\TensorRT-8.6.1.6\python 目录下并切换到torch_work虚拟环境中

windows11下安装Tensor RT,并在conda虚拟环境下使用_第7张图片

选择跟虚拟环境匹配的python版本,我这里选择 full installation 的安装模式 

windows11下安装Tensor RT,并在conda虚拟环境下使用_第8张图片

然后执行pip安装命令

windows11下安装Tensor RT,并在conda虚拟环境下使用_第9张图片 之后我们还需要安装 uff, graphsurgeon, onnx_graphsurgeon 这三个python包,它们就在解压目录下

windows11下安装Tensor RT,并在conda虚拟环境下使用_第10张图片

 

windows11下安装Tensor RT,并在conda虚拟环境下使用_第11张图片

windows11下安装Tensor RT,并在conda虚拟环境下使用_第12张图片

 我们切换到对应的目录,pip安装

 至此,在conda环境下安装tensorRT就全部完成了,接下来验证一下是否安装成功。

进入该虚拟环境中导入 tensorrt 包,如果控制台没有报错,即为安装成功,接下来就可以在conda虚拟环境下使用 tensorrt。

 

你可能感兴趣的:(DL&ML,conda)