【API部署】fastapi与nuitka打包py项目
提示：分两部分：fastapi接口调用，与nuitka快速打包
功能：作为一名算法工程师，训练机器学习模型只是为客户提供解决方案的一部分。 除了生成和清理数据、选择和调整算法之外，还需交付和部署结果，以便在生产中使用
实现python或基于虚拟环境的pytorch项目，在终端部署。即py文件最终变成exe，可脱离python环境，在任意终端运行。
文章目录
- 如何测试
-
- 1.利用python中的request
- 2.利用软件postman
- 一、fastapi（创建API服务）
-
- 1.安装
- 2.小示例
- 3.完整代码
- 4.拓展 （返回其他类型、数据库实战）
- 二、nuitka打包与部署
-
- 1.环境与安装
- 2.下载Nuitka
- 3.使用nuitka简单打包python代码
- 4.使用nuitka打包pyqt5项目
- 三、Docker部署
如何测试
前端如何向后端发送请求
1.利用python中的request
Requests建立在世界上下载量最大的Python库urllib3上，它令Web请求变得非常简单，功能强大且用途广泛。
上面是get请求，用于从访问的地址中获取信息。还可用post请求，来向后端传入数据
result = requests.post('https://127.0.0.1:8000/detect', data = Data)
输入与输出数据格式与定义，在后端定义，见下文。
2.利用软件postman
ubuntu与windows都可用的前后端通信软件：
以上是通过发送数据所在路径，实现2d检测的一个功能。后端返回检测结果，输入输出都是json即字典格式
一、fastapi（创建API服务）
1.安装
注意是在win10的虚拟环境中安装，同样在win10上运行
pip install fastapi
pip install "uvicorn[standard]"
2.小示例
先创建 main.py 文件：
from typing import Optional
from fastapi import FastAPI
#创建FastAPI实例
app = FastAPI()
#创建访问路径
@app.get("/")
def read_root():#定义根目录方法
return {"message": "Hello World"}#返回响应信息
#定义方法，处理请求
@app.get("/items/{item_id}")
async def read_item(item_id: int):
return {"item_id": item_id}
以上示例共包含两个 get接口，调用任意一个，都会默认执行后续的 def 函数。
在终端中的使用以下命令，来启动服务：
uvicorn main:app --reload
# 注意：--reload 表示让服务器在更新代码后重新启动。仅在开发时使用该选项。
启动服务后，可在前端（如postman中访问localhost/items？=id 来进行测试）
3.完整代码
以下是完整的main.py文件，可直接用python执行来启动服务
（重点是其中 post接口以及接收文件的格式定义 ）
from typing import Optional
import uvicorn
from fastapi import FastAPI,File
from pydantic import BaseModel
from ml.predict import load_model,Features,predict
#创建FastAPI实例
app = FastAPI()
# 自定义接收数据的结构
class hkk(BaseModel):
file: str
num: int
#创建访问路径
@app.get("/")
def read_root():
return {"message": "Hello World"} # 访问根目录即显示
# 加载模型
models = load_model()
def test(file):
feature = Features(file)
return model.predict(feature)
#调用模型接口
@app.post("/detect/v2")
async def detect2(item: hkk): # async 表示异步执行，hkk为自定义的类
img = item.file
index= item.num
res = test(img)
return {
"filename": file.filename,
"attributes": (len(content),str(type(f)),str(type(content))),
"result": res
}
#运行
if __name__ == '__main__':
uvicorn.run(app, host="127.0.0.1", port=8000)
测试可见前言中 postman截图，传参选 Body> raw> JSON 文件，也可用以下python文件调用：
import requests
url2 = 'http://127.0.0.1:8000/detect/v2'
filename2 = "examples/123.jpg"
files = {
'file':filename2，
'num':int(2)
}
response2 = requests.post(url2, files=files)
print(response2.content)
4.拓展 （返回其他类型、数据库实战）
- 前端传入 json时，后端代码：
from fastapi import Body
@app.post("/login")
async def login(data = Body(None)):
return {"data":data} # 除了上述自定义文件类型外，也可采用Body格式
2. 前端传入list 时，在postman 中传参选 Body> form-data ，输入一个list（含两个文件），后端代码：
from fastapi import FastAPI, Header, Body, Form
# 注意要提前 pip install python-multipart
@app.post("/login")
async def login(username= Form(None), password = Form(None)):
return {"data":{"username":username, "password":password}}
3. 返回图片、网页
通过以下三个包，可返回不同类型。
from fastapi.responses import JSONResponse, HTMLResponse, FileResponse
app = FastAPI()
#创建访问路径
@app.get("/user")
def user():
return JSONResponse( content = { "msg": "get user" },
status_code = 202,
headers = { "a": "b" }) # 给返回的header增加新的key：a
@app.get("/")
def user():
html_content = " " "
<html>
<body><p style = "color:red"> Hello World</p></body>
<html>
" " "
return HTMLResponse( content = html_content) # 访问根目录 / 得到设置好的html网页
@app.get("/avater")
def user():
avater = "E:/user/123.jpg"
return FileResponse( avater ,filename = '123.jpg' ) # 访问目录 /avater ，得到下载提示
return FileResponse( avater ) # 只显示图片
jinja2模板 返回HTML (以文件形式导入html)
from fastapi import FastAPI，Request
from fastapi.templating import Jinja2Templates # 需要 pip install jinja2
app = FastAPI()
template = Jinja2Templates ("pages") # 保存 .html 文件的文件夹
@app.get("/")
def user( req: Request ) :
return template.TemplateResponse( "index.html" , content = { "request": req})
- 数据库实战
①先在 teacher.py 文件中 创建teacher类，用来模拟数据库
from pydantic import BaseModel, Field
class TeacherSchema(BaseModel):
id: int
name: str = Field (default = name, min_length=6) # 规定数据格式
course: None|str = "python 测试" # 旧版： Union[None,str]
salary: float=8000
full_time: bool=True
实例化类的两种方法：
t1 = TeacherSchema (id=3, name=“abc”, salary = “2000”…)
print (t1.dict()) # 返回字典
print (t1.json()) # 返回字符串
data = { “id”: 3 , “name”: “周老师”, “salary”: 90332}
或者从文件导入：
data = load_json(“123.json”)
t1 = TeacherSchema.parse_obj(data)
三种加载方法：
import json
import yaml
def load_json(file):
with open(file, 'r', encoding='utf-8') as fp:
return json.load(fp)
def save_json(data, file):
with open(file, 'w', encoding='utf-8') as fp:
json.dump(data, fp, ensure ascii=False)
def load_yaml(yaml_file) ->Dict: # 定义返回类型
with open(yaml_file, mode ='rb') as fp:
yaml_cont = yaml.load(fp, Loader = yaml.FullLoader)
return yaml_cont
- 定制返回信息
二、nuitka打包与部署
nuitka是一个用来将python代码打包为exe可执行文件，方便其在没有相关环境的windows系统上运行的工具（也支持打包成linux系统下的可执行程序，暂未尝试）。其原理为：将部分python代码（自己写的部分）转换成C代码，以提高运行的速度；import的第三方包不进行编译，在运行时，通过一个python3x.dll的动态链接库 执行第三方包的python代码，通过这样的方式减少exe包的大小。
nuitka 适合将python 编写（基于pyqt5库）的可视化图形界面（GUI）打包，打包速度快，打包完的程序也不大，而 pyinstaller打包的程序一般都非常大，而且运行的速度很慢
1.环境与安装
环境：
conda 4.7.12
Python 3.6.13
numpy 1.16.4 (容易出错，建议不要高于此版本)
pyqt5 5.15.4
① 下载C编译器：MinGW64 8.1（这个版本最稳定）。
下载地址：https://sourceforge.net/projects/mingw-w64/files
也可使用百度盘：https://pan.baidu.com/share/init?surl=CpdGxZj2hRsU_Z0ukp6kqg#list/path=/
密码8888
其他两个文件保留，是nuitka的附属文件，等会会用
② 将文件3 MinGW64 8.1 解压到C盘，并添加环境变量
③ 打开cmd命令，使用gcc.exe --version测试是否添加上。
2.下载Nuitka
pip install nuitka
3.使用nuitka简单打包python代码
（1）新建一个简单的python文件，测试运行没有出错
（2）使用nuitka xxx.py命令进行打包。在打包过程中会有提示下载一个包到***\nuitka***这样一个文件夹中，下载进度条可能不动或者很慢，就可以使用 ctrl + C终止进程，手动将百度云下载的文件1解压到提示的这个文件家中
（3）重新使用nuitka xxx.py命令进行打包。还会提示下载另一个包，同样的方式将文件2解压放入
（4）重新使用nuitka xxx.py命令进行打包，这次应该就没问题了
4.使用nuitka打包pyqt5项目
参数作用：
–mingw64 默认为已经安装的vs2017去编译，否则就按指定的比如mingw(官方建议)
–standalone 独立环境，这是必须的(否则拷给别人无法使用)
–windows-disable-console 没有CMD控制窗口
–output-dir=out 生成exe到out文件夹下面去
–show-progress 显示编译的进度，很直观
–show-memory 显示内存的占用
–include-qt-plugins=sensible,styles 打包后PyQt的样式就不会变了
–plugin-enable=qt-plugins 需要加载的PyQt插件
–plugin-enable=tk-inter 打包tkinter模块的刚需
–plugin-enable=numpy 打包numpy,pandas,matplotlib模块的刚需
–plugin-enable=torch 打包pytorch的刚需
–plugin-enable=tensorflow 打包tensorflow的刚需
–windows-icon-from-ico=你的.ico 软件的图标
–windows-company-name=Windows下软件公司信息
–windows-product-name=Windows下软件名称
–windows-file-version=Windows下软件的信息
–windows-product-version=Windows下软件的产品信息
–windows-file-description=Windows下软件的作用描述
–windows-uac-admin=Windows下用户可以使用管理员权限来安装
–linux-onefile-icon=Linux下的图标位置
–onefile 像pyinstaller一样打包成单个exe文件(2021年我会再出教程来解释)
–include-package=复制比如numpy,PyQt5 这些带文件夹的叫包或者轮子
–include-module=复制比如when.py 这些以.py结尾的叫模块
–show-memory 显示内存
–show-progress 显示编译过程
–follow-imports 全部编译
–nofollow-imports 不选，第三方包都不编译
–follow-stdlib 仅选择标准库
–follow-import-to=MODULE/PACKAGE 仅选择指定模块/包编译
–nofollow-import-to=MODULE/PACKAGE 选择指定模块/包不进行编译
完整命令为：
nuitka --standalone --mingw64 --show-progress --show-memory --nofollow-imports --plugin-enable=qt-plugins --include-qt-plugins=sensible,styles --output-dir=out --windows-icon-from-ico=favicon.ico 软件的图标 start.py
// --standalone环境独立
// --mingw64选择之前下载的C编译器
// --show-progress --show-memory显示进度和内存
// --nofollow-imports所有包都不编译
// --plugin-enable=qt-plugins --include-qt-plugins=sensible,styles 添加qt插件，导入相关包
// --output-dir=out --windows-icon-from-ico=favicon.ico 导出路径以及图标
打包完成后会生成一个文件夹，包含xx.build和xx.dist两个目录，前一个无用。后一个就是我们需要的打包好的文件夹，里面有一个exe可执行文件。继续调试添加依赖包：
调试添加包的过程：
（1）在xx.dist目录下打开cmd或者powershell（shift+鼠标右键，点击打开powershell）
（2）运行./xx.exe
（3）查看报错信息，缺少的第三方包就从D:\Anaconda3\envs\myenv(虚拟环境路径)下搜索关键字，将其复制保存到xx.dist目录下。缺少的自己的包，也将其复制过来。一步一步调试，直到把所有的依赖包全都复制到这个目录下，程序完美执行。（记得把这些依赖包复制备份）
（4）之前的命令打包的程序为了调试有一个console黑框框，正式打包的话不要console，在之前的命令中添加–windows-disable-console,具体命令为：
**感谢博主「ha_lee」的原创文章
三、Docker部署
即将完成