TensorRT 3.0在Jetson TX2部署实战

目前关于使用TensorRT 3.0加速推理caffe的教程不太多,本博客会介绍部署TensorRT从HOST端到Jetson TX2端整个WORKFLOW,然后说明如何修改samples代码以便可以用自定义模型进行推理加速,主要从以下三个方面展开

  • TensorRT简介
  • 环境配置
  • Jetson端模型文件推理

一、TensorRT简介

NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用有图像分类、分割和目标检测等,可提供最大的推理吞吐量和效率。接触过深度网络压缩的同学应该知道网络压缩最关键的两个思路,剪枝和量化。 TensorRT就是量化,将FP32位权值数据优化为 FP16 或者 INT8,而推理精度不发生明显的降低。

二、环境配置

HOST端使用Ubuntu 16.04 的主机,具体环境信息:

版本 描述
CUDA 9.0 NVIDIA推出的用于自家GPU的并行计算框架
cuDNN 7.1.2 NVIDIA打造的针对深度神经网络的GPU加速库
pycuda 基于Python实现的使用CUDA的工具包7
caffe 清晰,可读性高,快速的深度学习框架
python 2.7 编程语言
tensorrt 3.0 NVIDIA推出的深度学习推理加速引擎7

Jetson TX2端
TX2环境为Jetpack 3.2,具体如下:

名称 版本
L4T 28.2
CUDA Toolkit 9.0
cuDNN 7.0.5
tensorrt 3.0.4

三、TX2上跑已经训练好的自定义模型

本博文是对LeNet神经网络进行微调。
DIGITS训练好模型,对模型进行测试,测试无误后,可以在tx2上加载自定义模型,创建保存快照的目录

$ cd jetson-inference/data/networks
$ mkdir LeNet-fine-tuning

确保在jetson-inference / build / aarch64 / bin目录下,执行命令,需要测试的图像输出图像也在这个目录下

  1. 选择最后一个epoch下载模型,会下载一个压缩包, 名字类似于20180501-191922-f853_epoch_30.0.tar.gz.通过DIGITS或将该压缩包用U盘,网线等任何方式拷贝到tx2上

  2. 将压缩包解压到
    jetson-inference/data/networks/LeNet-fine-tuning
    数据集的目录下, 可以看到解压后里面模型快照和结构文件,其中deploy.prototxt是描述网络结构的, snapshot_iter_30.caffemodel是网络的权值

  3. 将$NET下面的变量设置为提取的快照的路径
    $ NET=networks/LeNet-traffic-sign

  4. 运行处理离线图片的程序, input_blob, output_cvg,
    output_bbox参数不用设置,设置一下模型结果的prototxt文件和模型权值caffemodel文件

$ ./imagenet-console test_0.jpg output_0.jpg \
--prototxt=$NET/deploy.prototxt \
--model=$NET/snapshot_iter_30.caffemodel \
--labels=$NET/labels.txt \
--input_blob=data \
--output_blob=softmax

你可能感兴趣的:(TX2,Deep,Learning,深度学习实践)