实践指南：如何在生产环境中高效部署深度学习模型

在实际的生产环境中，将训练好的模型部署到服务器端，是一件具有挑战性的事情。

1.模型种类多样化

深度学习的发展带动了一批深度学习框架，如TensorFlow、Caffe、PyTorch等。

而当用户基于各种原因对一种框架进行学习时，常常会发现应用或者再训练的场景变了，因为在实际的生产环境中，可能无法对现有的框架进行直接支持。面对多样化的深度学习框架，对于生产环境的模型支持能力也提出了很大的挑战。

2.模型部署过程复杂

人工智能时代，对于所有想要涉及该领域的公司来说，想要享受这波技术红利，关键就在于一款基于好用的深度学习框架的深度学习应用，然而深度学习在生产环境中的部署不仅耗时且复杂。

对于一些具有很强技术能力的BAT等公司，他们可以通过自己编写Script，或者利用k8s工具来实现模型的部署，然而对于初次使用GPU的中小企业，或BAT中初次部署的部门来说，无疑面临着一个很大的困难。

除了以上两个典型的问题，还有服务器GPU无法充分利用、技术环境复杂等问题。

针对以上问题，智东西公开课特意为大家策划了深度学习公开课NVIDIA TensorRT专场。专场将在10月22日19点进行直播，由NVIDIA高级系统架构师胡麟主讲。他将为大家全面解析模型部署过程中的挑战，并深度讲解如何使用TensorRT Inference Server加速深度学习模型的部署。

要告诉大家的是，在此之前，智东西公开课已经完结了三场关于TensorRT的专场讲解。三个专场分别从TensorRT的使用、原理和高级特性对其进行深度剖析。想进一步学习的朋友，可以扫描海报底部的二维码，添加小助手大越（ID：xdxaxx）进行课程资源申请，备注“姓名-公司\学校\单位”的朋友可以优先审核通过哦。

★

开课时间

时间：10月22日19点

地点：智东西公开课直播间

讲师介绍

胡麟，NVIDIA高级系统架构师，硕士毕业于西安交通大学，目前在NVIDIA从事企业级客户深度学习解决方案架构工作，拥有多年异构计算从业经验。

课程内容

主题：使用TensorRT Inference Server加速深度学习模型的部署

提纲：

1.部署深度学习模型的挑战

2.如何利用TensorRT Inference Server提升模型部署效率

3.Demo：使用TensorRT Inference Server部署图像分类模型

加入主讲群

每场讲解我们都将设置主讲群，并会邀请主讲导师入群。加入主讲群，你除了可以免费收听直播之外，还能直接和讲师认识及交流。当然，你还可以结识更多的技术大牛。想要加入主讲群的朋友可以扫描海报底部的二维码添加小助手大越（ID：xdxaxx）进行申请，备注“姓名-公司\学校\单位”的朋友可以优先审核通过哦。

快速入群通道

心急的小伙伴可以扫描下方二维码填写主讲群申请表，将获得快速入群资格哦。

点个“在看”和大家一起聊聊