【目标检测】Flask+Docker在服务器部署YOLOv5应用

前言

看到不少文章讲解用Flask部署YOLOv5的，不过基本都在本地上能够运行而戛然而止。因此，我打算再进一步，利用Docker在云服务器上部署YOLOv5，这样就能够开放给别人使用。

代码仓库：https://github.com/zstar1003/yolov5-flask

本地部署

本地项目主要参考了robmarkcole的这个项目[1]，原始项目是一年前多发布的大概用的是YOLOv5较早的版本，直接download下来会出现一些问题。于是我使用YOLOv5-5.0版本进行了重构。

项目结构

整体项目结构如下图所示：

• models：存放模型构建相关程序，直接从yolov5-5.0版本中clone过来
• utils：存放绘图、数据加载等相关工具，直接从yolov5-5.0版本中clone过来
• static：存放前端渲染等静态文件
• templates：前端页面html文件
• webapp.py：入口程序

整体看来，整个项目作为一个demo还是比较简单的。当然utils和models里面存在一定的冗余，有的工具类是为训练测试提供服务，这里仅需要做推理即可。本来想着再进一步精简，不过发现各函数之间相关性挺大，遂不去修改。

快速运行

仓库里已经存放了yolov5s.pt文件，无需额外下载模型文件。
在终端运行python webapp.py，稍等片刻，即可访问 http://127.0.0.1:5000

在首页中选择文件再上传，即可返回出模型预测结果。预测后的图片会保存在static文件夹下。

代码简析

核心代码：

@app.route("/", methods=["GET", "POST"])
def predict():
    if request.method == "POST":
        if "file" not in request.files:
            return redirect(request.url)
        file = request.files["file"]
        if not file:
            return

        img_bytes = file.read()
        img = Image.open(io.BytesIO(img_bytes))
        img = cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)

        if img is not None:
            showimg = img
            with torch.no_grad():
                img = letterbox(img, new_shape=imgsz)[0]
                # Convert
                # BGR to RGB, to 3x416x416
                img = img[:, :, ::-1].transpose(2, 0, 1)
                img = np.ascontiguousarray(img)
                img = torch.from_numpy(img).to(device)
                img = img.half() if model.half() else img.float()  # uint8 to fp16/32
                img /= 255.0  # 0 - 255 to 0.0 - 1.0
                if img.ndimension() == 3:
                    img = img.unsqueeze(0)
                # Inference
                pred = model(img)[0]

                # Apply NMS
                pred = non_max_suppression(pred, conf_thres, iou_thres)
                # Process detections
                for i, det in enumerate(pred):  # detections per image
                    if det is not None and len(det):
                        # Rescale boxes from img_size to im0 size
                        det[:, :4] = scale_coords(
                            img.shape[2:], det[:, :4], showimg.shape).round()
                        # Write results
                        for *xyxy, conf, cls in reversed(det):
                            label = '%s %.2f' % (names[int(cls)], conf)
                            plot_one_box(
                                xyxy, showimg, label=label, color=colors[int(cls)], line_thickness=2)

        imgFile = "static/img.jpg"
        cv2.imwrite(imgFile, showimg)

        return redirect(imgFile)

    return render_template("index.html")

前端通过POST的方式，将图片提交到后端，首先需要判断图片是否为空，如果为空，则返回空值，即报错界面；如果不是空值，则通过file.read()来读取图片字节串，原代码是通过PIL.Image来转成图片，为了和后面的推理过程兼容，转换成OpenCV格式。
推理部分代码基本完全copy自YOLOv5的detect.py，推理之后的图片首先进行保存，然后再返回给前端进行直接显示。

云端部署

在服务器部署也有多种方案，最容易想到的就是直接在服务器搭建python环境，不过考虑到还需要安装torch这种大型库，出错概率高，因此更方便的就是使用Docker进行部署。

简单理解，Docker就像是一个自带了虚拟环境和程序的容器，只需要将其打包放在服务器，直接就可以运行。

生成requirements.txt

第一步是需要生成依赖文件列表requirements.txt，以便在Docker Image中能够配置好需要的依赖。
通常的做法是这样进行生成：

pip freeze > requirements.txt

然后就可以在新环境中，这样快速安装：

pip install -r requirements.txt

但是这样做的一个巨大问题是，它会将环境中所有的库名称和版本进行输出，有些库是在项目中没有用到的，但依然会进行输出。

为了避免这种情况，有人就开发了一个pipreqs库，它可以进行一些过滤，仅将工程中用到的库和版本进行输出。

pipreqs的安装可以有两种方式：
方式一：

pip install pipreqs

方式二：
如果pip失败，可以去Github上克隆该项目，然后运行setup.py

git clone https://github.com/bndr/pipreqs.git
python setup.py install

安装好之后，再在当前目录下运行

pipreqs . --encoding=utf8 --force

这样就能生成requirement.txt

coremltools==5.2.0
Flask==2.2.2
matplotlib==3.5.2
numpy==1.21.5
onnx==1.12.0
pafy==0.5.5
pandas==1.3.5
Pillow==9.2.0
PyYAML==6.0
requests==2.28.1
scipy==1.7.3
seaborn==0.11.2
setuptools==63.2.0
torch==1.11.0
torchvision==0.12.0
tqdm==4.64.0
opencv-python==4.6.0.66

注意生成之后需要检查一下，比如云服务器不具有GPU环境，那么就手动将torch改成CPU版本。

构建DockerFile

DockerFile是构建文件，包含了所有环境配置步骤，比如安装库。

常用指令有这些[2]：

FROM             # 基础镜像，一切从这里开始构建  centos
MAINTAINER        # 镜像是谁写的， 姓名+邮箱
RUN             # 镜像构建的时候需要运行的命令
ADD             # 步骤，tomcat镜像，这个tomcat压缩包！添加内容 添加同目录
WORKDIR         # 镜像的工作目录
VOLUME             # 挂载的目录
EXPOSE             # 暴露端口配置  和我们的-p一样的
CMD             # 指定这个容器启动的时候要运行的命令，只有最后一个会生效，可被替代。
ENTRYPOINT         # 指定这个容器启动的时候要运行的命令，可以追加命令
ONBUILD         # 当构建一个被继承 DockerFile 这个时候就会运行ONBUILD的指令，触发指令。
COPY             # 类似ADD，将我们文件拷贝到镜像中
ENV             # 构建的时候设置环境变量

构建的DockerFile内容如下：

FROM python:3.7-slim-buster

RUN apt-get update
RUN apt-get install ffmpeg libsm6 libxext6  -y

WORKDIR /app
ADD . /app
RUN pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

EXPOSE 5000

CMD ["python", "webapp.py"]

首先，从python:3.7-slim-buster这个公开镜像中，引入python环境，然后更新数据源，安装三个必要的工具。

之后，指定工作路径在/app这个文件夹下，这个路径设置很重要，后面会用到。

然后就安装requirements.txt里面所列的所有依赖，注意这里使用了阿里源，这样可以进行加速。

接着暴露出5000这个端口，因为后面要通过这个端口号进行访问。

最后CMD指定容器运行之后就执行的命令，即容器一旦运行就执行python webapp.py，将程序跑起来。

Docker打包上传

在注册之前，需要在本地安装Docker并进行注册，Windows系统可以安装Docekr的客户端，这里不做赘述。

打开客户端之后，就能在本地启动Docker服务，然后进入到项目终端，输入

docker build --tag zstar1003/yolov5-flask .

注意最后面有个点，这代表着将所有内容打包成镜像。--tag指定了镜像名称，注意前面必须是用户名，否则后面将不能够进行拉取。如果前面tag忘记添加用户名，可以在打包之后进行更名，使用docker tag 原始名 zstar1003/yolov5-flask

关于Docker的命名规则，可以看这篇文章[3]，讲解得较为详细。

打包过程比较漫长，因为系统需要去联网下载前面那些依赖，打包完成之后，在终端输入docker images可以看到本地的所有镜像。

本地有了镜像之后，再将其push到公开仓库，这样方便后续拉取，执行命令：

docker push zstar1003/yolov5-flask

上传的过程也比较长，主要取决于镜像的大小和网速，上传完之后，可以在客户端的这个位置看到。

Docker镜像拉取

下面就是在云服务器上进行操作了，推荐使用FinalShell连接云服务器。

首先需要在云服务器上安装Docker，我是用的云服务器系统是Centos 7.6。
先装一些必要的软件包

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

设置稳定的仓库

sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

安装社区版的Docker

sudo yum install docker-ce docker-ce-cli containerd.io

安装好之后，启动Docker

systemctl start docker

然后就可以拉取之前上传的镜像

docker pull zstar1003/yolov5-flask

拉取好之后，输入docker image -a看看镜像是否存在，存在就说明拉取成功。

Docker创建容器并启动

拉取完镜像之后，就需要创建一个容器来挂载镜像，主要命令是docker run，有下列这些可选参数，更多命令可参考[4]

docker run [Options] image

#参数说明
--name="名字"           指定容器名字
-d                     后台方式运行
-it                    使用交互方式运行,进入容器查看内容
-p                     指定容器的端口
	-p ip:主机端口:容器端口  配置主机端口映射到容器端口
	-p 主机端口:容器端口（常用）
	-p 容器端口
-P                     随机指定端口
-e					   环境设置
-v					   容器数据卷挂载

于是输入docker run -p 5000:5000 zstar1003/yolov5-flask来创建一个容器来运行这个镜像，结果报错，原因是5000端口被占用。这是因为我这台服务器上之前跑过别的项目，5000端口有其它的进程在工作。

遇到这情况，可以用lsof来查询冲突的端口存在哪个进程。

首先安装lsof

yum -y install lsof

然后输入

lsof -i :5000

如下图所示，可以看到5000端口被gunicorn这个进程正在使用，于是将其kill掉。

杀完之后，再重启容器，首先输入docker ps -a，查看刚刚创建的容器ID

可以看到它的ID是34960ff95951，然后将其启动

docker start 34960ff95951

启动之后，看到终端输入下列内容，表示程序正常运行。

这时候访问服务器公网IP：5000端口，可以看到前端界面已经显示出来。

错误排除

然而，当我上传图片，点击按钮时，突然报错：

RuntimeError: “slow_conv2d_cpu” not implemented for ‘Half’

我在Github的issue[5]中找到了这个问题的答案，原回答如下：

Q: Error “slow_conv2d_cpu” not implemented for ‘Half’
A: In order to save GPU memory consumption and speed up inference, Real-ESRGAN uses half precision (fp16) during inference by default. However, some operators for half inference are not implemented in CPU mode. You need to add --fp32 option for the commands. For example, python inference_realesrgan.py -n RealESRGAN_x4plus.pth -i inputs --fp32

翻译一下，就是本机上为了加速推理，使用了model.half()半精度(fp16)进行转换，然后，这只能在GPU版本的Pytorch中使用，在CPU版本的Pytorch中会报错。

于是，就得想办法把docker中的文件进行修改，将half的操作进行移除。

还记得之前DockerFile中指定的路径吗？在之前，指定了Docker工作路径在app文件夹下，因此，可以使用下面的命令，将其拷贝出来。

docker cp 34960ff95951:/app/webapp.py /home/torch/

如下图所示，在两个half()的地方进行修改，图片直接使用float()类型。

修改之后，再把文件拷贝回去，这样会覆盖原文件，达到修改的目的。

docker cp  /home/torch/webapp.py 34960ff95951:/app/

修改好之后，重启容器：

docker restart 34960ff95951

然而在此运行时，我又遇到了下面这个报错

AttributeError: ‘Upsample’ object has no attribute ‘recompute_scale_factor’

查阅相关资料，这个时pytorch版本的一个Bug，upsampling.py文件中，存在了recompute_scale_factor参数冗余。

和上面操作类似，把该文件拷贝出来，进行修改，再拷贝回去即可。注意该文件属于依赖文件，拷贝出来需要先修改文件的读写权限。

运行效果

排除完这两个错误之后，再次重启容器，上传图片，可以看到推理结果已经正确得呈现出来！

总结

本次利用Docker部署遇到许多阻碍。下次部署时，如果服务器是CPU环境，最好先在本地利用CPU运行一下，如果跑通再进行镜像打包。

References

[1]https://github.com/robmarkcole/yolov5-flask
[2]https://liuhuanhuan.blog.csdn.net/article/details/123256877
[3]https://www.zsythink.net/archives/4302
[4]https://blog.csdn.net/weixin_45698637/article/details/124213429
[5]https://github.com/xinntao/Real-ESRGAN/blob/master/docs/FAQ.md