开发环境下,如何通过一个命令让 fastapi 和 celery 一起工作

FastAPI 是 Python Web 领域非常受欢迎的框架,目前 GitHub 上有 39.1k 的 star,已经远超过了 Django rest framework(22.3k star)。而 Celey 又是异步任务最流行的框架,常用于数据挖掘和机器学习等计算密集型任务的场景中。如果需要通过 API 来异步调用任务,那这两个框架可以放在一起工作。本文来分享一下如何让 FastAPI 和 Celery 更好的相互配合,开发环境下如何通过一个命令就可以让两者一起工作。

0、安装依赖

pip install fastapi celery uvicorn

1、写个纯 celery 任务

首先,让我们来写一个纯属 celery 的任务,让它正常运行,然后在通过 fastapi 来调用它。

假设你的机器已经安装了 Python3 和 celery,并且本机已经开启了 redis,运行在 6379 端口上。

现在让我们写一个简单的任务:计算两数之和,文件名为:celery_app.py 代码如下:

#!/Users/aaron/py38env/bin/python
# filename: celery_app.py
from celery import Celery

app = Celery("tasks", broker='redis://127.0.0.1:6379/0', backend='redis://127.0.0.1:6379/0')

@app.task
def add(x, y):
    return x + y

然后启动一个 worker 接收远程调用。

celery -A celery_app worker -l info
开发环境下,如何通过一个命令让 fastapi 和 celery 一起工作_第1张图片

如果要远程异步调用这个 add 函数,我们需要再编写一个文件 start_celery_app.py,内容如下:

from celery_app import add #导入我们的任务函数add
import time
result = add.delay(12,12) #异步调用,这一步不会阻塞,程序会立即往下运行

while not result.ready():# 循环检查任务是否执行完毕
    print(time.strftime("%H:%M:%S"))
    time.sleep(1)

print(result.get()) #获取任务的返回结果
print(result.successful()) #判断任务是否成功执行

任务返回了结果 24,命令成功完成,

开发环境下,如何通过一个命令让 fastapi 和 celery 一起工作_第2张图片

此时 worker 界面增加的信息如下:

开发环境下,如何通过一个命令让 fastapi 和 celery 一起工作_第3张图片

2、通过 fastapi 来执行

编写一个 api.py 通过接口来调用上述的 add 函数:

from fastapi import FastAPI
import celery_app

app = FastAPI()

@app.get("/")
def read_root():
    result = celery_app.add.delay(12, 12)
    return {"12+12": result.get()}

启动服务:

uvicorn api:app --host 0.0.0.0 --port 8000 --reload

然后访问:http://127.0.0.1:8000,会发现任务成功执行:

开发环境下,如何通过一个命令让 fastapi 和 celery 一起工作_第4张图片

这样我们启动了两个独立的进程,一个是 celery 的 worker,一个是 fastapi 的 app,这样做没问题,且生产环境下是严格要求分开运行的,不过,开发环境下如果这样做就太低效了。

3、开发环境下如何一条命令启动

如果不使用两个终端来启动两个命令,我们可以使用 Celery 提供的测试实用程序在后台线程中启动 celery worker,比如写一个这样的文件run.py,内容如下:

import uvicorn

original_callback = uvicorn.main.callback

def callback(**kwargs):
    from celery.contrib.testing.worker import start_worker
    from celery_app import app

    with start_worker(app, perform_ping_check=False, loglevel="info"):
        original_callback(**kwargs)

uvicorn.main.callback = callback


if __name__ == "__main__":
    uvicorn.main()

这样,只需要执行一条命令就可以同时启动 celery worker 和 fastapi 接口服务,调试的时候是不是非常方便:开发环境下,如何通过一个命令让 fastapi 和 celery 一起工作_第5张图片

最后的话

本文分享了 fastapi 和 celery 是如何配合工作的,并分享了一个用于开发环境的脚本,可以通过一个命令来启动 celery worker 和 fastapi,可能不是完美的解决方案,但确实提升了开发效率,我觉得这是值得的,如果有帮助还请点赞、在看、关注,感谢阅读。

推荐阅读:

一文搞定 celery 任务远程调用

Django,Flask ,FastAPI 怎么选?

你可能感兴趣的:(python,java,编程语言,linux,redis)