windows环境下安装TensorRT 5.0教程(win10)

NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用有图像分类、分割和目标检测等,可提供最大的推理吞吐量和效率。本文参照英伟达官网教程记录下在win10、cuda9.0、vs2015环境下的TensorRT 5.0的安装和使用过程,以供参考交流。

一、环境

Win10

vs2015

cuda9.0

cudnn7.0

python2.7

二、TensorRT 5.0安装

1、下载

下载链接:https://developer.nvidia.com/nvidia-tensorrt-5x-download

windows环境下安装TensorRT 5.0教程(win10)_第1张图片

2、解压

windows环境下安装TensorRT 5.0教程(win10)_第2张图片

3、设置系统环境变量

windows环境下安装TensorRT 5.0教程(win10)_第3张图片

4、复制dll文件到cuda安装目录

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin(对应自己的cuda安装目录)

windows环境下安装TensorRT 5.0教程(win10)_第4张图片

windows环境下安装TensorRT 5.0教程(win10)_第5张图片

二、mnist sample编译测试

完成tensorRT安装后,测试看安装是否成功,可以直接编译刚才解压的TensorRT里的案例来测试。这里我们选用sampleMNIST来测试。

windows环境下安装TensorRT 5.0教程(win10)_第6张图片

1、mnist案例的程序在路径samples\sampleMNIST下

windows环境下安装TensorRT 5.0教程(win10)_第7张图片

2、用vs2015(其他版本没试过)打开解决方案后,需对工程属性进行配置。

(1)首先修改一下对应的平台版本和工具集

windows环境下安装TensorRT 5.0教程(win10)_第8张图片

(2)可执行文件目录

windows环境下安装TensorRT 5.0教程(win10)_第9张图片

(3)附加包含目录

windows环境下安装TensorRT 5.0教程(win10)_第10张图片

(4)附加依赖项

windows环境下安装TensorRT 5.0教程(win10)_第11张图片

到这里工程属性的配置就完成了,接下来对工程编译。

3、编译

输出的可执行文件在目录D:\vs2015_workspace\TensorRT-5.0.4.3\bin下。

4、运行测试

在sample的readme中可以看到运行命令如下:

windows环境下安装TensorRT 5.0教程(win10)_第12张图片

可以看到,到这里安装测试已经完成了。对TensorRT进一步的研究后续再进行,接下来将以SSD为例,进一步对使用TensorRT的各方面进行考察,尤其是INT8模式下的推理速度提升和准确率的影响。

 

2019年的第一天,元旦快乐!

你可能感兴趣的:(机器学习,TensorRT,深度学习,NVIDIA,caffe,win10)