celery学习笔记

celery

-消息队列
-异步任务
-定时任务
-需要了解的知识
-选择并安装消息容器（载体）
-安装celery并创建第一个任务
-开启工作进程并调用任务
-记录工作状态和返回的结果

Celery 介绍

分布式任务队列. Celery 是一个简单、灵活且可靠的, 基于python开发的分布式异步消息任务队列，
通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery.
使用场景:
1.你想执行一个操作，可能会花很长时间，但你不想让你的程序一直等着结果返回，而是想有创建一个任务,
这个任务会在其他地方执行,执行完毕后会你拿到结果， 在任务执行过程，你可以继续做其它的事情。
2.你想做一个定时任务，比如每个星期五发送一条会议通知.
同步：同一个线程中执行
异步：不同线程中执行

Celery它是一个专注于实时处理的任务队列，同时也支持任务调度.

Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度.

安装celery

pip install celery

安装redis

pip install redis
sudo apt install redis-server

启动redis服务

redis-server

安装sqlalchemy

pip install sqlalchemy

-启用celery服务

-celery -A proj worker --loglevel=info

注意: proj是工程名称

mycelery项目

1.新建一个mycelery的django项目

django-admin startproject mycelery
cd mycelery
python manage.py startapp app

2.在setting.py文件下注册app

在项目根目录下新建一个tasks.py文件

from celery import Celery
from time import sleep
app=Celery('tasks',broker='redis://localhost:6379/1',backend='redis://127.0.0.1:6379/1')

@app.task
def add(a,b)
	time.sleep(5)
	return a + b

if __name__ == '__main__':
	#print(add(4,6))
	print(add.delay(4,6))

创建一个celery的app
'tasks’名称最好和文件名称一致
broker: 任务队列所在位置
格式: redis数据库://　ip : redis数据库的端口号/redis数据库1 redis的数据库可选从0-12
backend: 后端，Celery执行的结果保存的位置　
格式和broker一样，redis数据库也可以是一样的，也可以不一样

在tasks.py下定义一个函数add,导入时间模块模拟一下延迟
右击run运行一下这个文件,可以知道,等5秒后才会打印结果7

现在,修改一下

给函数加上装饰器@app.task,在add后加上delay的函数,这个函数是在装饰器里的函数,表示这个函数可以去延迟
加上这个函数后,会将add函数的执行放到上面Celery里的异步队列里

3.开启这个异步队列

在底部的Terminal栏输入命令celery会出来一些命令的参数,可以查看一下这些命令

输入命令
celery -A表示开启一个任务; 任务的文件是tasks .py ;这里开启一个tasks的worker; -l info表示打印所有返回的信息

celery -A tasks worker -l info

可以看到任务已经添加到队列里
然后右键点击’run’运行这个tasks.py文件
会出现一串16进制的的代码，这个是任务的标识
可以倒回去看一下Terminal栏中的信息
最后一句,任务在5秒左右的时间内成功执行,结果是10;
这个任务已经保存到了redis里,也可以在redis里看到这个执行的结果
这些内容也都有显示

以上是一个简单的celery的功能的介绍,现在需要把这个和Django结合起来

将celery与django结合

1.在项目根目录下创建一个worker包,然后在worker文件夹下新建一个config.py文件,这个文件是用来作为配置文件的

config.py

broker_url = 'redis://127.0.0.1:6379/13'  #任务队列的位置
broker_pool_limit = 100  # Borker 连接池,能同时连接100个, 不写默认是10

timezone = 'Asia/Shanghai'#时区
accept_content = ['pickle', 'json'] #接收两种格式,

task_serializer = 'pickle'#接收的格式默认是pickle序列化

result_backend = 'redis://127.0.0.1:6379/13' #后端的结果
result_serializer = 'pickle'#结果的序列化也是pickle
result_cache_max = 1000  # 任务结果最大缓存数量
result_expires = 3600  # 任务过期时间

worker_redirect_stdouts_level = 'INFO'  
#打印输出的等级引号里面可以是DEBUG,ERROR等

2.在worker文件夹下的 init .py 下新建celery的app

import os

from celery import Celery
from worker import config

# 调用django的环境
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'mycleery.settings')

# 新建celery_app
celery_app = Celery('mycelery')

# 读取配置
celery_app.config_from_object(config)

#自动去发现celery的任务
celery_app.autodiscover_tasks()

3.在app下的views.py文件下写一下视图函数,调用异步任务队列

import time

from django.http import HttpResponse
from django.shortcuts import render
from worker import celery_app

# worker文件夹下新建的celery_app
@celery_app.task
def add(a,b):
	time.sleep(5)
	return a+b


def index(request):
	# 不调异步任务
	add(5,8)
	# 调一下异步任务
	# add.delay(3,7)
	return HttpResponse('ok')

urls.py配置路由

在Terminal栏输入命令 python manage .py runserver 运行这个项目
在浏览器地址栏输入 : 127.0.0.1:8000/index/
浏览器会先刷新5秒(time sleep模拟了延迟),再显示 ok,也可以刷新一下网页,可以看到网页要刷新5秒

把不调异步任务注释,调用一下异步任务
点一下刷新,可以看到这时就不用延迟了,实际上是把任务放到了异步任务队列里

也可以去开启一下异步任务队列查看一下
输入一下命令,这个celery_app是在init文件里

可以在浏览器中开启多个网页,在浏览器的地址栏中都输入:127.0.0.1:8000/index/
网页立马弹出’ok’,没有延迟

然后查看一下Terminal栏中的信息,开启了三个异步任务,都是在5秒左右完成,打印了函数的结果10
(把延迟时间调长一点,可以看到Terminal栏的变化)

4.通过异步任务队列发送邮件

在setting文件中添加以下代码

EMAIL_HOST = 'smtp.qq.com'
EMAIL_HOST_USER = '[email protected]'   #qq邮箱
EMAIL_HOST_PASSWORD = 'xxxxxx'    ##授权码

把发邮件放到异步任务队列里

from worker import celery_app
from django.core.mail import send_mail

发送邮件

@celery_app.task
def my_send_mail(reciept):
    # 把发给谁放到reciept
    send_mail('django mail test', 'hello this is test', '[email protected]', recipient_list=[reciept,])

然后修改app下的views.py文件

from django.http import HttpResponse
from worker import celery_app
from app.celery_tasks import my_send_mail

def index(request):
	
	# 发送邮件                给谁
	my_send_mail.delay('[email protected]')
	return HttpResponse('ok')

在Terminal栏输入命令,查看一下异步队列,去发现这个异步任务

celery -A proj worker -l info

在浏览器地址栏中输入127.0.0.1:8000/index/
查看一下自己的邮箱,是否有邮件

这里看起来似乎没有和异步队列搭关,思路和方法已经给出,可以自行完善