通过 TensorRT 实现网络模型的推理加速

当前最火的莫过于深度学习,各大公司为抢占深度学习战略的制高点,纷纷出台了各种深度学习框架,比如谷歌的 TensorFlow,BVLC 的 Caffe,Fchollet 公司推出的 Keras,微软推出的 CNTK,DMLC 公司推出的 MXNet,Facebook 推出的 Torch7 等等。

目前深度学习的网络是越来越深,越来越复杂。训练时的时间长短对用户来说是不关心的,用户只关心运行时的速度快慢,特别对于实时要求的用户来说更加重要,如何有效的提高网络运行时的速度呢?答案是TensorRT。这也是本 Chat 的出发点。

本场 Chat 主要介绍 TensorRT 对如何对训练好的网络结构和模型参数进行推理加速。另外,本文章也会涉及如何有效使这个平台的模型应用到另一个平台。

本场 Chat 您将学到如下内容:

  1. TensorRT 的安装。
  2. TensorRT 的使用。
  3. TensorRT 的基础知识讲解。
  4. TensorRT 加速 Caffe 模型讲解。
  5. TensorRT 原理讲解。
  6. TensorRT 加速 Onnx 模型源码讲解。
  7. 其他深度学习框架对应模型转换为 Onnx 模型,以 MXNet 为例。

阅读全文:https://gitbook.cn/gitchat/activity/5b7028df88e30a62db115eb6

你可能感兴趣的:(深度学习)