Python分布式任务队列Celery,Django中如何实现异步任务和定时任务

问题引入

个人的某Django项目需要实现在后台发送邮件,发送邮件时间比较长,需要在后台做大量的数据运算,包括去做深度学习生成报告,以及做大量数据的处理。由于Python中GIL全局锁的限制,单是使用多线程threading,无法充分利用CPU,这里需要一个工具实现异步方式来进行分配管理任务。

Celery简介

celery是一个分布式的任务队列,把大量任务分布到不同的机器上去,通过集群来运行大量的任务。celery由Python编写,可通过暴露HTTP方式进行任务交互以及与其他语言集成开发。

安装celery

$ pip install -U Celery

安装需要的依赖包

$ pip install "celery[librabbitmq]"
$ pip install "celery[librabbitmq,redis,auth,msgpack]"
  • celery[librabbitmq]:使用librabbitmq库
  • celery[redis]:使用Redis进行消息传输或后端结果存储
  • celery[auth]:使用auth进行鉴权
  • celery[msgpack]:使用msgpack序列化

更多依赖参考官网https://docs.celeryproject.org/en/latest/getting-started/introduction.html

到此,celery的环境已搭建起来,下一步需要选择一个消息队列或者消息代理,项目中使用的是redis。

Python分布式任务队列Celery,Django中如何实现异步任务和定时任务_第1张图片

启动redis

$ docker run -d -p 6379:6379 redis

创建celery任务

在项目根目录下创建celery目录,新建tasks.py脚本。

from celery import Celery

# 第一个参数是当前脚本的名称,第二个参数是broker的服务地址
app = Celery('tasks', backend='redis://127.0.0.1', broker='redis://127.0.0.1')


@app.task
def add(x, y):
    return x + y

celery的实例名称叫做tasks,broker传递了两个参数:backend存储,把每一个异步任务运行的结果存储在什么地方,可以使用redis、数据库,也可以使用RPC的消息队列去传到外部消息队列中存储;broker为存储任务系统的代理,也是个消息队列。这里我都选用了redis。

运行Celery Worker服务器

$ celery -A tasks worker --loglevel=INFO

win10下需要在后面加上-P eventlet。

创建测试脚本run_tasks.py

from tasks import add

# 任务提交后变为ready状态
result = add.delay(4, 4)
print(f'Is task ready: {result.ready()}')

# 等待一秒钟,一秒内运行完就会取到结果,超过则返回超时状态
run_result = result.get(timeout=1)
print(f'task result: {run_result}')

运行脚本:

监控和管理

  • 使用命令行监控:

status:列出此集群中的活动节点

$ celery -A proj status

result::显示任务的结果

$ celery -A proj result -t tasks.add 4e196aa4-0141-4601-8138-7aa33db0f577

inspect:查看任务执行情况

如:列出活动任务

$ celery -A proj inspect active
  • 使用Flower web监控工具

可以方便看到任务的执行进展、执行历史和执行结果,还可以远程控制。

pip安装:(安装时先断开celery服务)

$ pip install flower

启动celery的flower,默认5555端口:

celery -A tasks flower --broker=redis://localhost:6379/0

Python分布式任务队列Celery,Django中如何实现异步任务和定时任务_第2张图片

访问网址可以看到worker节点的任务运行的详细信息。

 

Django与Celery集成:异步任务

Celery4之后的版本已支持Django,不需要安装额外的package。

Python分布式任务队列Celery,Django中如何实现异步任务和定时任务_第3张图片

整体架构如图,首先从用户侧发起请求到Django,Django产生任务并将任务发给Celery,Celery中有对应的消息队列和代理Broker去接受这个任务并将它存起来。Celery中的Worker会去检索队列中的任务,将任务一个个执行,执行完后存下来,这时我们也能在系统中拿到结果,包括在Flower中能够监控到任务的状态。

在项目的主应用下创建创建一个celery.py,由于将开发和生产配置做了分离,environ.setdefault使用settings.base,app为应用名称。

import os

from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'settings.base')

app = Celery('recruitment')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()


@app.task(bind=True)
def debug_task(self):
    print(f'Request: {self.request!r}')

在主应用的__init__.py下配置初始化。

from __future__ import absolute_import, unicode_literals
# 防止导入的包有命名冲突
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app',)

再到项目的settings的本地配置下加上celery配置。

CELERY_BROKER_URL = "redis://localhost:6379/0"
CELERY_RESULT_BACKEND = "redis://localhost:6379/1"
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TASK_SERIALIZER = 'json'
CELERY_TIMEZONE = "Asia/Shanghai"
CELERYD_MAX_TASKS_PRE_CHILD = 10
CELERYD_LOG_FILE = os.path.join(BASE_DIR, "logs", "celery_work.log")
CELERYBEAT_LOG_FILE = os.path.join(BASE_DIR, "logs", "celery_heat.log")

新建发送消息tasks.py,这里以使用钉钉发送群消息为例:

from __future__ import absolute_import, unicode_literals

from celery import shared_task
from .dingtalk import send

@shared_task
def send_dingtalk_message(message):
    send(message)

在后台管理员admin.py中修改send方法为异步任务,即改为send_dingtalk_message.delay()。

启动Celery、Flower和redis来管理异步任务。

Django与Celery集成:定时任务

在Celery中用一个叫做Beat的调度进程来管理和调度定时任务。调用关系为:Beat首先调用Scheduler去找到任务,然后检测任务的执行状态,如果这个任务到了它的执行时间就会去执行,执行完会将任务的状态存储下来。存储方式有两种:一种是直接把任务执行状态存储到文件中,这个是默认的Default PersistentStorage(Scheduler);另一种方式是将执行的状态和任务信息存在数据库里。建议使用数据库,便于维护。

这里将上述服务的启动编写为shell脚本形式:

启动Django项目.bat:

# django-admin compilemessages
## if local config file does not exist, clond one:
test -f settings/local.py || echo "=== warning: local.py does not exist, will initialize the file, please update the configs ==="
test -f settings/local.py || cp settings/production.py settings/local.py
test -f settings/local.py && sed -i '' 's/DEBUG = False/DEBUG = True/g' settings/local.py 2> /dev/null

# synchronous web server for development:
# --settings=settings.local
python3 manage.py runserver 0.0.0.0:8000 $server_params

# for async web server:
# export DJANGO_SETTINGS_MODULE=settings.local
# uvicorn recruitment.asgi:application --workers 3

 启动celery.sh:

# 启动 recruitment 这个 package 的时候,会运行 __init__.py
# __init__.py 里面初始化了 django 的配置
DJANGO_SETTINGS_MODULE=settings.production celery -A recruitment worker -l INFO

 启动flower.sh:

DJANGO_SETTINGS_MODULE=settings.production celery -A recruitment flower
  • 安装beat:
pip install django-celery-beat
  • 注册django_celery_beat到settings下的APP中
  • 数据库迁移
python manage.py makemigrations
python manage.py migrate
  • 使用DatabaseScheduler启动beat或者在配置中设置beat_scheduler,脚本代码如下
# DJANGO_SETTINGS_MODULE=settings.local celery -A recruitment beat
DJANGO_SETTINGS_MODULE=settings.local celery -A recruitment beat --scheduler django_celery_beat.schedulers:DatabaseScheduler

管理定时任务的几种方法:

  • 在Admin后台添加管理定时任务Periodic Tasks

Python分布式任务队列Celery,Django中如何实现异步任务和定时任务_第4张图片

  • 系统启动时自动注册定时任务

在主应用下新建celery.py

from celery.schedules import crontab
from recruitment.tasks import add


# 使用Django信号
@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):
    # Calls test('hello') every 10 seconds.
    sender.add_periodic_task(10.0, test.s('hello'), name='hello every 10')

    # Calls test('world') every 30 seconds
    sender.add_periodic_task(30.0, test.s('world'), expires=10)

    # Executes every Monday morning at 7:30 a.m.
    sender.add_periodic_task(
        crontab(hour=7, minute=30, day_of_week=1),
        test.s('Happy Mondays!'),
    )


@app.task
def test(arg):
    print(arg)


app.conf.timezone = "Asia/Shanghai"
  • 直接设置应用的beat_schedule
from celery.schedules import crontab
from recruitment.tasks import add


app.conf.beat_schedule = {
    'add-every-10-seconds': {
        'task': 'recruitment.tasks.add',
        'schedule': 10.0,
        'args': (16, 4,)
    },
}
  • 运行时添加定时任务
# 运行时动态添加定时任务
import json
from django_celery_beat.models import PeriodicTask, IntervalSchedule

# 先创建定时策略,每10秒钟运行一次
schedule, created = IntervalSchedule.objects.get_or_create(every=10, period=IntervalSchedule.SECONDS, )

# 再创建任务
task = PeriodicTask.objects.create(interval=schedule, name='say welcome 2021', task='recruitment.celery.test',
                                   args=json.dumps(['welcome']), )

 

你可能感兴趣的:(Python,python,django)