python的新款异步框架FASTAPI
https://fastapi.tiangolo.com/
是一款最近很火的框架。
我过去使用了Flask很多年,当一使用上fastapi,就喜欢上它了。
今天的问题是:
我们的函数到底应该定义为async还是普通函数?
直接上演示代码。
from fastapi import FastAPI
import time
import asyncio
import os
app = FastAPI()
@app.get("/async_slowest")
async def async_slowest():
time.sleep(1)
return {"message": "async mode but use sync sleep"}
@app.get("/async_sleep_in_thread")
async def async_sleep_in_thread():
loop = asyncio.get_event_loop()
await loop.run_in_executor(None, time.sleep, 1)
return {"message": "sleep run in thread pool"}
@app.get("/async_sleep")
async def async_sleep():
await asyncio.sleep(1)
return {"message": "async mode sleep"}
@app.get("/sync")
def sync_sleep():
time.sleep(1)
return {"message": "sync, but run in thread pool"}
我们用ab工具,总量100,并发100进行测试。
这4个函数,最慢的就是第一个async_slowest。
我们可以看到,它几乎是一个接一个的串联输出。
原因是:
fastapi框架会将async函数会放到event loop中运行。
如果函数没有运行或有await,则其他函数无法运行。
所以这里是一个串联的效果,总时间需要100s
为了解决这个问题,第二个函数引入了loop.run_in_executor
loop = asyncio.get_event_loop()
可以获取当前的event loop
loop.run_in_executor(None, time.sleep, 1)
是将time.sleep(1)放到一个线程池中去运行,所以不会出现阻塞。
这个函数,1秒可以全部运行完。
第三个函数是最正宗的实现。
它使用异步的sleep取代了原版同步的sleep。
这也是最快的实现。
1秒可以运行完
第四个函数是唯一一个不是async的普通函数。
它的运行时间是多少呢?
我的电脑是3秒运行完!
为什么?
这就是fastapi精彩的地方。
前面提到,async函数会放到event loop中执行。
那么,普通的函数会放到哪里呢?
答案是,放到thread pool中。
那么为什么是3秒呢。
这是因为我的电脑是逻辑8核。线程池的默认配置是核数*5,所以是40线程。
我的测试是100个并发,所以一共是3秒完成。
40->40->20
简单的说,就像官方所说,如果你不清楚你函数里的调用是否异步,那就定义为普通函数。因为它可以采用多线程的方式解决。
反之,定义了async函数,里面却是同步的调用(第一个函数),那么这将慢的是灾难!