明火烟雾目标检测项目部署
- 明火烟雾目标检测项目部署
- 1. 拉取Docker PyToch镜像
- 2. 配置项目环境
- 2.1 更换软件源
- 2.2 下载vim
- 2.3 解决vim中文乱码问题
- 3. 运行项目
- 3.1 拷贝项目到容器中
- 3.2 安装项目所需的工具包
- 3.3 启动项目
- 4.搭建项目镜像
- 4.1 Docker commit搭建
- 4.2 Dockerfile搭建
- 5.发布项目镜像
这个项目是我去年负责的项目，当时还有一些小问题没有完全解决，同时也受限于当时的知识储备，就一直搁置到现在。在经过相关知识的学习后，这两天也是花了不少心思在完善这个项目，最终是修改成了理想的状态。
目前的效果是通过网页打开，用户通过上传图片，后端会检测图片是否存在明火或者烟雾。经过调试后该项目可以在不同设备上打开，前端会自适应不同设备。使用的框架是PyTorch，使用的算法是YoloV5算法（4.0版本），使用的模型是经过训练后的YoloV5-S模型。
同时我也是将该项目通过Docker进行封装成镜像，方便在其他系统上部署而不需要重复安装环境。
下面是项目的效果。
1. 拉取Docker PyToch镜像
从Docker Hub拉取PyTorch的镜像，在该镜像上进行下面的操作。
# 拉取镜像
$ docker pull pytorch/pytorch:latest
# 生成容器
$ docker run -dit --name fire -p 5001:5001 pytorch/pytorch:latest
# 进入容器
$ docker exec -it fire bash
查看容器torch的版本，进入python终端输入下面的指令，可以看到使用的torch版本是1.10.0。
>>> import torch
>>> torch.__version__
'1.10.0'
>>>
2. 配置项目环境
2.1 更换软件源
先备份原有的软件源，命令如下。
cp /etc/apt/sources.list /etc/apt/sources.list.bak
因为镜像没有安装vim，故只能通过echo指令更改/etc/apt/sources.list文件内容。
# 清空文件内容
echo "">/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial universe">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates universe">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial multiverse">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates multiverse">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security universe">>/etc/apt/sources.list
echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security multiverse">>/etc/apt/sources.list
更新软件源。
apt-get update
apt-get upgrade
2.2 下载vim
修改文件内容需要使用vim，所以要下载。
apt-get install vim -y
下载完成后可以通过下面的指令查看vim的版本。
vim --version
2.3 解决vim中文乱码问题
修改/etc/vim/vimrc内容，在最后面添加下面的内容：
set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936
set termencoding=utf-8
set encoding=utf-8
设置后文件内的中文就可以正常显示了。
3. 运行项目
3.1 拷贝项目到容器中
将本机上的项目代码文件拷贝到容器的工作目录下。
$ docker cp "本机上项目的路径" fire:/workspace/
上面的指令实现的功能是，将项目拷贝到fire容器中的/workspace/目录下。
3.2 安装项目所需的工具包
使用pip指令下载工具包，-i后面使用的清华源，最后是工具包的名称。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple packageName
在该容器中，我需要安装的包如下：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python-headless
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scipy
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple flask
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyyaml
其中我在安装opencv-python这个包后，在执行项目的时候报错了：
ImportError: libGL.so.1: cannot open shared object file: No such file or directory
在网上搜索到的解决方法就是安装opencv-python-headless。而且我尝试先安装opencv-python-headless后安装opencv-python也会报相同的错，不能反过来安装！！
3.3 启动项目
在flask_app.py中需要检查主机号和端口号，主机号要写成0.0.0.0不然本机打不开项目，如果端口号要和创建容器时映射的端口一致（这里我设置了5001）。而且要关闭调试模式。
app.run(debug=False, host='0.0.0.0', port=5001)
在完成以上的操作后，在终端中输入如下指令启动项目：
python flask_app.py
这时在本机的浏览器上输入localhost:5001即可成功打开项目页面了！
4.搭建项目镜像
现在把项目所在的容器封装成镜像，方便不同系统上的部署。这里我采用两种方法搭建，分别是Docker commit和Dockerfile搭建项目镜像。
4.1 Docker commit搭建
在Docker中，镜像是多层存储，每一层是在前一层的基础上进行的修改；而容器同样也是多层存储，是在以镜像为基础层，在其基础上加一层作为容器运行时的存储层。
在该项目中，我们是在pytorch镜像的基础上创建了fire这个容器，并在该容器中进行了修改操作。可以通过 docker diff 命令看到具体的改动。
$ docker diff CONTAINER
docker commit 命令可以将容器的存储层保存下来成为镜像。换句话说，就是在原有镜像的基础上，再叠加上容器的存储层，并构成新的镜像。docker commit 的语法格式为：
$ docker commit [选项] <容器ID或容器名> [<仓库名>[:<标签>]]
在该项目中，我使用如下的指令构建项目镜像：
$ docker commit --author "Kint" --message "Fire Detection Project" fire kint216/fire-detection:v1
其中 --author 是指定作者，而 --message 则是记录本次修改的内容。这点和 git 版本控制相似，不过这里这些信息也可以省略不写。需要注意的是仓库名必须是小写。
用docker image ls指令可以查看我们新创建的镜像。
使用docker run指令可以根据项目镜像生成项目容器，该容器已经配置好环境了，在容器中直接启动服务即可。
4.2 Dockerfile搭建
Dockerfile文件内容如下：
# FROM 指定基础镜像
FROM pytorch/pytorch:latest
# 指定Docker命令的工作路径，如果路径不存在，Docker会自动创建
WORKDIR /app
# 将所有程序拷贝到Docker镜像中
# COPY <本地路径> <目标路径>
# 第一个'.'代表程序根目录下的所有文件；第二个'.'代表Docker镜像中的路径，即当前的工作路径'/app/'
COPY . .
# 创建镜像，安装环境，RUN指令是在创建镜像时使用
RUN cp /etc/apt/sources.list /etc/apt/sources.list.bak \
&& echo "">/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial universe">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates universe">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial multiverse">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates multiverse">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security universe">>/etc/apt/sources.list \
&& echo "deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security multiverse">>/etc/apt/sources.list \
&& apt-get update \
&& apt-get install vim -y \
&& pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
# CMD指令用来指定当Docker容器运行起来执行的命令
CMD ["python","flask_app.py"]
在Dockerfile文件目录下输入下面的指令：
$ docker build -t firedemo .
-t参数是指定镜像名称，.告诉docker在该目录下寻找Dockerfile文件。
通过docker run指令来启动一个容器。指令如下：
$ docker run -p 5001:5001 -d --name firetest firedemo
但是在这里启动失败了，这在已经在安装好opencv-python-headless后出现的问题，还没有解决。
5.发布项目镜像
在Docker Hub上创建一个仓库。
将有Docker commit搭建好的项目镜像推送到远端仓库中，指令如下：
$ docker push kint216/fire-detection:v1
上传成功后，此时可以从远端仓库拉取部署使用。
$ docker run -dit -p 5001:5001 --name firetest kint216/fire-detection:v1