使用docker打包python项目并在本地模拟部署aws lambda
使用docker打包python项目并在本地模拟部署aws lambda
文章目录
-
- 使用docker打包python项目并在本地模拟部署aws lambda
- 前言
- 一、docker打包python项目
-
- 1.准备工作
- 2.打包步骤
- 二、本地模拟部署aws lambda
-
- 1.准备工作
- 2.Postman模拟http请求
- 三、遇到的问题及解决方法
-
- 1.版本不兼容问题
- 2.缺少依赖库问题
- 3.临时文件问题
- 4.编码问题
- 四、docker常用命令
- 总结
前言
本文主要记录使用docker打包python项目并部署到lambda的流程以及遇到的一些问题。
配置：Windows11，WSL2，Ubuntu20.04，VScode
一、docker打包python项目
1.准备工作
在requirements.txt中写入需要安装的库：
-f https://download.pytorch.org/whl/torch_stable.html
open3d==0.13.0
torch==1.12.0+cpu
# open3d-python
设置dockerfile：
FROM public.ecr.aws/lambda/python:3.7
ADD ./ ${LAMBDA_TASK_ROOT}/
RUN mkdir -p /tmp/classifier
RUN python3 -m pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple/
RUN python3 -m pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/
CMD [ "handler.predict"]
1、从 aws lambda 上 pull 下 python 3.7 的基础镜像
2、当前目录的内容ADD到容器中的 /var/task 目录下
3、在容器的tmp文件夹中新建文件夹(代码运行时需要在临时文件夹中生成临时文件)
4、安装依赖库
5、启动运行 handler.predict
由于open3d-python在requirements.txt一起安装出现了报错，所以将open3d-python放入dockerfile单独安装。
2.打包步骤
打开WSL:Ubuntu-20.04终端，启动docker：
sudo service docker start
切换路径到待打包的文件夹：
cd 文件夹路径
创建docker镜像
docker build -t test:0.1.0 .
注意：最后有个 .
运行创建好的镜像，创建一个新容器
docker run -p 8888:8080 test:0.1.0
二、本地模拟部署aws lambda
参考内容：Deploying PyTorch Model as a Serverless Service
1.准备工作
handler.py
代码如下：
def predict(event, context):
try:
print(event)
input_file_path = "/var/task/input/xxxxx"
preds = test.main(input_file_path)
print("prediction:",preds)
context.log(preds)
logging.info(f"prediction: {preds}")
return {
"statusCode": 200,
"headers": {
'Content-Type': 'application/json',
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Credentials": True
},
"body": json.dumps({"prediction": preds})
}
except Exception as e:
logging.error(e)
return {
"statusCode": 500,
"headers": {
'Content-Type': 'application/json',
'Access-Control-Allow-Origin': '*',
"Access-Control-Allow-Credentials": True
},
"body": json.dumps({"error": repr(e)})
}
2.Postman模拟http请求
下载安装: Postman
下载安装注册之后，创建一个json文件，导入Postman，在容器运行时点击send，查看是否连接成功。
{
"info": {
"_postman_id": "xxxxx",
"name": "test",
"schema": "xxxxx"
},
"item": [
{
"name": "xxxxx",
"protocolProfileBehavior": {
"disableBodyPruning": true
},
"request": {
"method": "GET",
"header": [],
"body": {
"mode": "raw",
"raw": "{\"S3key\":\"test\"}",
"options": {
"raw": {
"language": "json"
}
}
},
"url": "xxxxx"
},
"response": []
}
]
}
三、遇到的问题及解决方法
1.版本不兼容问题
问题1：前期开发时对应的版本为python:3.7.13，open3d:0.15.2，然而docker打包时使用的基础镜像是lambda/python:3.7，适配的open3d最高版本只有0.13.0，打包好之后直接报错。
解决1：首先尝试使用更高版本的基础镜像lambda/python:3.8，发现open3d最高版本仍然是0.13.0；然后尝试将代码运行环境的open3d降到0.13.0版本，发现有个别open3d函数不适配，将函数改为0.13.0版本，成功解决报错。
2.缺少依赖库问题
问题1：刚开始使用docker打包时，使用基础镜像为python3.7，打包完运行"import open3d"报错—ImportError: libGL.so.1: cannot open shared object file: No such file or directory，当时根据教程link解决了报错，但是这样每次打包都要来一遍，很麻烦。另外，当基础镜像使用lambda/python3.7时，上述教程并不能解决问题。
解决1：由于是"import open3d"时报错，可能是缺少open3d-python
pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/
3.临时文件问题
问题1：由于代码运行时需要生成一些临时文件，前期开发时临时文件放在运行代码文件夹子目录，但是最后部署到云平台时代码运行的路径无法写入文件
解决1：将临时文件的保存路径改到临时文件夹 /tmp 或子目录下
4.编码问题
问题1：前期开发时代码都正常运行，但是使用lambda/python3.7基础镜像打包之后，连接到Postman出现了编码问题
解决1：分析是某个文件有编码冲突，新建一个文件夹，把项目文件一个一个移动到新文件夹进行测试，发现是权重文件和运行代码放在一起导致的编码报错，所以新建一个文件夹单独放权重文件，成功解决报错。
四、docker常用命令
sudo service docker start #（启动docker）
docker images -a #（查看所有镜像）
docker build -t test:0.1.0 . #（创建镜像）
docker rmi xxxxx #（删除镜像）
docker ps -a #（查看所有容器）
#（新建容器并启动）
docker run -it test:0.1.0 /bin/bash
docker run -p 8888:8080 test:0.1.0
docker start xxxxx #（启动容器）
docker restart xxxxx #（重启容器）
docker stop xxxxx #（停止当前容器）
docker kill xxxxx #（强制停止当前容器）
#（进入容器）
docker attach xxxxx
docker exec -it xxxxx /bin/bash
docker commit xxxxx test:0.1.1 #（将容器制作成镜像）```
总结
使用docker打包python项目并部署aws lambda时遇到了很多坑，特此记录。
参考：
[1] docker制作python项目镜像
[2] Deploying PyTorch Model as a Serverless Service
[3] ImportError: libGL.so.1: cannot open shared object file: No such file or directory——docker容器内问题报错
[4] Docker常用命令，命令大全