pytorch基于web端和C++的两种深度学习模型部署方式

本文对深度学习两种模型部署方式进行总结和梳理。一种是基于web服务端的模型部署，一种是基于C++软件集成的方式进行部署。
 

基于web服务端的模型部署，主要是通过REST API的形式来提供接口方便调用。而基于C++的深度学习模型部署，主要是通过深度学习框架的C++前端版本，将模型集成到软件服务中。

本文分别对上述两种模型部署方式进行流程梳理，并分别举例进行说明。

1. 基于web端的模型部署

1.1 web服务与技术框架

下面以ResNet50预训练模型为例，旨在展示一个轻量级的深度学习模型部署，写一个较为简单的图像分类的REST API。主要技术框架为Keras+Flask+Redis。其中Keras作为模型框架、Flask作为后端Web框架、Redis则是方便以键值形式存储图像的数据库。各主要package版本：

tensorflow 1.14keras 2.2.4flask 1.1.1redis 3.3.8

先简单说一下Web服务，一个Web应用的本质无非就是客户端发送一个HTTP请求，然后服务器收到请求后生成一个HTML文档作为响应返回给客户端的过程。在部署深度学习模型时，大多时候我们不需要搞一个前端页面出来，一般是以REST API的形式提供给开发调用。那么什么是API呢？很简单，如果一个URL返回的不是HTML，而是机器能直接解析的数据，这样的一个URL就可以看作是一个API。

先开启Redis服务：

redis-s