TensorRT资料合集：视频课程、书籍与开源项目

深度学习在计算机视觉、智能语音、自然语言处理等常见任务中的应用都实现了SOTA的效果。TensorFlow，Pytorch，Caffe，Keras等各种各样的模型训练框架，层出不穷。训练好的模型在实际硬件（嵌入式设备或者服务器端）进行推理时，还需要推理框架。当下主流的推理框架包括：TensorRT（英伟达），OpenVINO（英特尔），ONNX，MNN等。

TensorRT是NVIDIA推出的高性能的深度学习推理（Inference）优化器，可以为深度学习模型提供低延迟、高吞吐率的部署推理，是目前应用最广泛的推理框架之一，在超大规模数据中心、嵌入式平台、自动驾驶平台等应用十分广泛。

虽然NVIDIA有官方的TensorRT文档以及案例库，但英文的材料对初学者入门并不友好。本文整理了一些TensorRT相关资料合集，希望对在自动驾驶、嵌入式、数据中心等相关领域的小伙伴提供帮助。

一、TensorRT的介绍、使用和安装

官方安装包下载：https://developer.nvidia.com/nvidia-tensorrt-download

官网安装指南：Installation Guide :: NVIDIA Deep Learning TensorRT Documentation

安装中可能出现的bug：TensorRT(1)-介绍-使用-安装 | arleyzhang

二、课程及视频教程

1、NVIDIA官方

主页：的个人空间_哔哩哔哩_Bilibili

NVIDIA 官方提供的TensorRT视频，视频时长总计2个小时。虽然是官方提供的视频教程，但貌似也没有用心准备，以至于大家觉得在念PPT。

授课形式：中文

推荐指数：★★★

2、深蓝学院：CUDA入门与深度神经网络加速

主页：CUDA入门与深度神经网络加速-深蓝学院 - 专注人工智能与自动驾驶的学习平台

这门课程是深蓝学院联合腾讯高级研究员开设的课程，也是国内为数不多的详细讲解TensorRT的课程。理论与实践结合，实践案例是Vision Transformer与Bert。

授课形式：中文

推荐指数：★★★★

3、TensorRT的C++/Python高性能部署

主页：https://www.bilibili.com/video/BV1Xw411f7FW/

B站UP主录制的视频，通过4个小时的视频，讲解了TensorRT的部署流程。实践案例是YOLO v5。

授课形式：中文

推荐指数：★★★★

三、书籍与教程

1.NVIDIA TensorRT Documentation

链接：NVIDIA Deep Learning TensorRT Documentation

英伟达官方TensorRT文档包含3部分：NVIDIA Tensorrt库的API参考文档、TensorRT开发者指南、样例支持指南TensorRT samples。

2.TensorRT详细入门

知乎专栏：深度学习那些事 - 知乎

老潘的专栏中有几篇经典的TensorRT文章，尤其是《TensorRT详细入门指北》这篇。

四、开源项目

1.NVIDIA TensorRT Samples

链接：https://github.com/NVIDIA/TensorRT/tree/main/samples

英伟达官方TensorRT样例支持指南，包括GoogleNet，SSD，FasterRCNN等常见的计算机视觉模型案例。

2.使用TensorRT中的API实现主流的深度神经网络

链接：GitHub - wang-xinyu/tensorrtx: Implementation of popular deep learning networks with TensorRT network definition API

该开源项目中除了实现英伟达官方样例库中的模型之外，还实现了人脸识别中的arcface，retinaface等模型，以及YOLO v3-v7，模型库更加全面。