保姆级教程！如何使用TensorRT部署CNN/Transformer/目标检测/BEV模型？

部署上车！这个词一定是2023年各大自动驾驶公司的重中之重。通过模型部署优化能够让我们训练的浮点模型更快地运行在车端硬件上，并且保持高性能！刚开始入坑的小伙伴一定会想并行处理和CUDA是什么？CNN如何部署？Transformer耗时太高怎么办？NMS太慢怎么办？后处理优化怎么做？BEV模型怎么部署上车？全都是问题，全都是细节！

由于自动驾驶涉及的感知模块非常多，分类、分割、2D/3D检测、车道线、关键点、跟踪等等等等，但最终都要经过模型部署和优化才能实际落地。因此模型的部署和优化是自动驾驶，或者说是计算机视觉领域最有挑战的方向之一，也是最能体现工程能力的方向！而且随着国家大力支持新能源汽车行业的发展，相关CV/自动驾驶/智能驾驶创业公司最近两年更是扎堆出现。

2023年经济恢复，各大企业也加大相关岗位人才招聘，刚看了某招聘网站，相关岗位平均月薪已达到4w，年薪60w。高级岗位年薪百万的也比比皆是！

来源于某招聘网站

学习难度大？

这段时间，有很多小伙伴咨询模型部署的相关问题，其实我们对模型部署也很感兴趣，市面上已有的模型部署相关学习资料质量参差不齐，许多同学在资料搜集和入门学习的时候踩了较多坑：

GPU并行处理理解不够透彻，CUDA编程不知如何下手...

努力看懂了原理，却不知道应该在什么场景使用；

预期的加速优化效果在实测中得出的结果与预期差距很大，哪里出了问题，始终查不出来。

自学过程中会遇到各种各样的难题，Transformer ONNX转TRT失败，CUDA和TRT版本不适配，各种segment fault，跑开源代码遇到问题，找不到解决方案，一个人抓耳挠腮，相信小伙伴们都深有体会；

... ...

在分析大家在学习过程中的痛点之后，自动驾驶之心联合早稻田大学韩君博士共同出品了《CUDA加速与TensorRT部署》课程。如果您正想要学习模型部署，或者正苦于自己部署的模型掉点严重，不知如何优化耗时，同时又缺少项目实战经验，那么一定要学习下这门课，课程内容详细介绍了并行处理、GPU、CUDA与TensorRT部署实战。

课程从最基础的并行处理与GPU体系架构开始，进而到CUDA与cuDNN入门，编写自己第一个CUDA程序，再到TensorRT基础入门和API 使用，实战涉及分类器部署（CNN+Transformer）、YOLO系列检测器部署，更有重磅的BEVFusion模型部署的详细讲解！课程后续还计划增加构建TensorRT plugin的流程、详解TensorRT的Parser、TVM等其他编译器以及Edge device上的部署！满满的干货，真正做到帮助0基础的同学高效学习，快速掌握每一个知识点，课程大纲如下：

课程特色

• CV方向全覆盖

直击图像分类、Transformer、目标检测、BEV感知等模型部署问题，兼顾计算机视觉领域和自动驾驶领域！

• 理论结合实战

项目实战和理论结合，实战课程的课后配套实战代码，随学随练、快速掌握。

共5大实战项目

课程包括完善的【老师教学】+【助教答疑】服务，确保每一位小伙伴都能愉快的学习知识。

• 实战一：CUDA编程、矩阵计算的优化、前处理后处理的优化、踩坑分享；

• 实战二：TensorRT C++ API使用方法介绍与Nsight模型性能分析；

• 实战三：分类器的部署与优化：CNN部署、Transformer的部署及优化；

• 实战四：YOLO v8的部署与优化：检测/分割的部署、前/后处理优化、模型瓶颈分析与优化策略；

• 实战五：开源项目BEVFusion的部署与优化：BEVFusion框架详解、NVIDIA-AI-IOT部署BEVFusion及分析!

课件代码一应俱全

细致的讲解，不光要有理论，代码及实践也一定要讲透彻！通过全套的视频讲解，帮你在脑海中搭建模型的基本框架，彻底搞懂每一个知识点，从而提高写代码的效率和速度。

讲师介绍

韩君，博士毕业于早稻田大学，现任早稻田大学研究员、讲师、并隶属日本某自动驾驶头部企业深度学习研发部门。博士期间主攻编译器优化、并行处理、逻辑编程与数学验证。目前从事深度学习高性能部署、Transformer硬件开发、Multi-task training、Active learning、Apollo、Autoware等领域

课程学后收获

1. 对TensorRT模型部署有着深入理解，在模型部署和优化上有较大提升；

2. 掌握分类、检测及BEV感知的模型部署与优化，深入理解部署优化的痛点和难点；

3. 学完本课程能够达到1年左右的模型部署工程师水平；

4. 能够结识许多行业从业人员与学习合作伙伴！

适合人群

1. 计算机视觉与自动驾驶感知相关研究方向的本科/硕士/博士；

2. CV与自动驾驶2D/3D感知相关算法工程人员；

3. 需要CUDA加速的算法工程人员；

4. 对模型部署与优化有需求的小伙伴；

本课程需要具备的基础

1. 具有一定的python、pyTorch、Makefile、docker基础，熟悉C/C++，熟悉深度学习常用的一些基础算法；

2. 对GPU、CUDA、目标检测、分割、Transformer、BEV感知的应用和基础方案有一定了解；

3. 一定的线性代数和矩阵论基础；

4. 电脑需要自带GPU，能够通过CUDA部署（老师的教学配置RTX3080 10G，Jeston AGX Xavier）；

开课时间与学习方式

2023年7月15日正式开始学习之路，历经两个月，离线视频授课。主讲老师在微信学习群内答疑，对课程中的算法、代码、环境配置等问题一一解惑！

课程咨询

开课优惠！扫码一起学习课程！

扫码添加助理咨询课程！

(微信：AIDriver004)