使用Docker部署深度学习模型的小demo

怎么安装Docker这里我就不多说了，根据自己服务器的操作系统来

官方安装教程：https://docs.docker.com/get-docker/

我们使用的是tensorflow_server，docker好像没有torch_server

第一步：

拉取tensorflow/serving镜像

docker pull tensorflow/serving

第二步：

克隆tensorflow官方仓库，我们使用里面已经训练好的模型

使用的模型是saved_model_half_plus_two_cpu，这个模型比较简单，就是将模型除以2再加2

git clone --depth=1 https://github.com/tensorflow/serving

–depth=1: 为1表示只克隆最近一次commit
第三步：

创建tensorflow/serving容器

注意这里的代码要根据自己的实际情况来，模型的路径需要改

docker run -t -d -p 8501:8501 -v /home/docker/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu/:/models/half_plus_two -e MODEL_NAME=half_plus_two --name plustwo tensorflow/serving

-d 就是后台运行
-p 端口指定8051

-v 后面的文件路径，冒号前面的是你服务器中克隆的模型的文件路径，冒号后面就是固定的

–name 给容器起一个别名，也可以不起

第四步：

使用curl命令进行预测

curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict

-d 的意思就是指定POST方式
预测结果：

{
    "predictions": [2.5, 3.0, 4.5
    ]
}

这些-d -t等等命令大家不懂了就去查，人家讲的比我清楚。