Django-Celery

Celery 是⼀个基于python开发的异步任务队列/基于分布式消息传递的作业队列，通过它可以轻松的实现任务的异步处理。它侧重于实时操作，但对调度⽀持也很好。Celery⽤于⽣产系统每天处理数以百万计的任务。Celery是⽤Python编写的，但该协议可以在任何语⾔实现。它也可以与其他语⾔通过webhooks实现。Celery 建议的消息队列是RabbitMQ，但提供⽀持Redis, Beanstalk, MongoDB, CouchDB, 和数据库（使⽤SQLAlchemy的或Django的 ORM）。Celery是易于集成Django, Pylons 和 Flask，使⽤ django-celery, celery-pylons 和 Flask-Celery 附加包即可。

Celery的优势

⽅便查看定时任务的执⾏情况, 如是否成功, 当前状态, 执⾏任务花费的时间等.

使⽤功能⻬备的管理后台或命令⾏添加,更新,删除任务.

⽅便把任务和配置管理相关联.

可选多进程, Eventlet 和 Gevent 三种模型并发执⾏.

提供错误处理机制.

提供多种任务原语, ⽅便实现任务分组,拆分,和调⽤链.

⽀持多种消息代理和存储后端.

Celery 是语⾔⽆关的，它提供了python 等常⻅语⾔的接⼝⽀持

官方文档：Celery 初步 — Celery 3.1.7 文档 (jinkan.org)

一、相关概念

架构图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pm9AIX4A-1644655802644)(.\bed316c5eeffaea1e09eff340be15361_720w.png)]

task 就是任务，包括异步任务和定时任务

broker 中间⼈，接收⽣产者发来的消息即Task，将任务存⼊队列。

Worker是任务的消费者。Celery本身不提供队列服务，推荐⽤Redis或RabbitMQ实现队列服务。

worker 执⾏任务的单元，它实时监控消息队列，如果有任务就获取任务并执⾏它。

backend ⽤于存储任务的执⾏结果。Celery⽀持以不同⽅式存储任务的结果， 包括AMQP, redis，memcached, mongodb，SQLAlchemy, Django ORM， Apache Cassandra, IronCache 等。

beat 定时任务调度器，根据配置定时将任务发送给Broler

二、应用场景

异步调用：⽤户不关⼼那些费时间但是⼜存在在我们API⾥⾯的操作我们就可以⽤异步调⽤的⽅式来优化（发送邮件或者上传头像，需要时间但是用户并不关心这件事）

定时任务：定期去统计⽇志，数据备份，或者其他的统计任务

三、安装配置

3.1、安装

pip install celery
pip install celery-with-redis
#django-celery-results库基于 Django ORM实现了结果存储后端
pip install django-celery-results

3.2、配置

INSTALLED_APPS = [
    'celery',
    'django_celery_results',
]
BROKER_URL='redis://localhost:6379/5'
CELERY_RESULT_BACKEND = 'django-db'
CELERY_TASK_SERIALIZER = 'json' # 任务序列列化和反序列列化使⽤用json
CELERY_RESULT_SERIALIZER = 'json' # 结果序列列化为json

3.3、创建Celery实例

[项目名]/celery.pysettings.py的同目录

from __future__ import absolute_import  # 绝对路径导⼊入
from celery import Celery
from django.conf import settings
import os

# 设置系统的环境配置⽤用的是Django的
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "untitled.settings")
# 实例例化celery
app = Celery('mycelery')
app.conf.timezone = "Asia/Shanghai"
# 指定celery的配置来源 ⽤用的是项⽬目的配置⽂文件settings.py
app.config_from_object("django.conf:settings")
# 让celery ⾃动去发现我们的任务（task）
app.autodiscover_tasks()
# 你需要在app⽬录下 新建⼀个叫tasks.py（⼀定不不要写错）文件

[项目名]/init.pysettings.py的同目录下加下面这段语句

from __future__ import absolute_import
from .celery import app as celery_app

四、celery的使用

4.1、创建任务

app/tasks.py

from celery import shared_task
import time
@shared_task
def hello_celery(loop):
	for i in range(loop):
		print('hello')
		time.sleep(2)

app/views.py

def formTest(request):
    # 我们的任务调用
    # 调用方式 任务函数名.delay(参数，，，，)
    hello_celery.delay(10)
    return HttpResponse('OK')

生成数据表

python manage.py migrate django_celery_results

我们先启动我们的项目，在执行下面的指令启动celery

celery -A 你的⼯程名 worker -l info

很不幸，报错了

Task handler raised error: ValueError('not enough values to unpack (expected

查找过后我们发现是windows和celery版本的问题，我们需要再下载一个包

pip install eventlet

启动worker的时候也需要再添加一个参数

celery -A 你的⼯程名 worker --loglevel=info -P eventlet

此时我们重启celery（修改tasks.py的内容后 要重启celery的服务），重启项目，发现可以实现我们的功能了，输出日志如下

[2022-02-12 15:52:20,995: WARNING/MainProcess] hello
[2022-02-12 15:52:22,995: WARNING/MainProcess] hello
[2022-02-12 15:52:25,001: WARNING/MainProcess] hello
[2022-02-12 15:52:27,017: WARNING/MainProcess] hello
[2022-02-12 15:52:29,021: WARNING/MainProcess] hello
[2022-02-12 15:52:31,035: WARNING/MainProcess] hello
[2022-02-12 15:52:33,041: WARNING/MainProcess] hello
[2022-02-12 15:52:35,036: WARNING/MainProcess] hello
[2022-02-12 15:52:37,049: WARNING/MainProcess] hello
[2022-02-12 15:52:39,059: WARNING/MainProcess] hello

4.2、获取执行任务的结果

异步任务执⾏行行完毕后，会⾃自动触发信号：

before_task_publish
after_task_publish
task_prerun
task_postrun
task_success
task_failure
task_revoked

from celery.signals import task_success
@task_success.connect(sender=add)
def task_done_handler(sender=None, result=None):
	print(result)

4.3、定时任务

启动

celery -A 你的⼯工程名称 beat -l info

settings.py

CELERYBEAT_SCHEDULE = {
	'schedule-test': {
		'task': 'app.tasks.hello_celery',
        'schedule': timedelta(seconds=3),
        'args': (2,)
        },
}

我们启动定时任务服务时 也要先开启worker

如果只开启定时服务没有开启worker服务 那么定时任务会被放入任务队列，但是由于没有干活⼉儿的worker 那么任务是不会被执行，当worker服务被启动后 会立刻去任务队列领任务并执行

你的任务一定要确保是可以正常执⾏行行的

settings.py也可以这样写

from celery.schedules import crontab
CELERYBEAT_SCHEDULE = {
    "every-ten-second-run-my_task": {
        "task": "t07.tasks.my_task",
        "schedule": crontab(minute="01", hour="15"),
        "args": (2,)
    }
}

4.4、其他异步任务

Celery提供了了⼀个⼯具flower，将各个任务的执行情况、各个worker的健康状态进行监控并以可视化的方式展现

安装flower

pip install flower

启动flower

celery flower --broker=redis://localhost:6379/5

查看flower

http://localhost:5555

五、配置

# celery配置
# 设置Broker和backend
BROKER_URL = 'redis://127.0.0.1:6379/1'
# 将数据存放到redis1数据库，redis默认有16个数据库
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/1'
# 将数据存储到django的数据库
# CELERY_RESULT_BACKEND = 'django-db'
CELERY_TASK_SERIALIZER = 'json'  # 任务序列列化和反序列列化使⽤用json
CELERY_RESULT_SERIALIZER = 'json'  # 结果序列列化为json
CELERYD_MAX_TASKS_PER_CHILD = 1000  # 每个worker执行了多少任务就会死掉
CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 # 后端存储任务超过一天则自动清理
CELERYBEAT_SCHEDULE = {
    'schedule-test': {
        'task': 'app.tasks.hello_celery',
        'schedule': timedelta(seconds=10),
        'args': (2,)
    },
}