一、安装redis
参考redis文件夹下:redis安装
文档:redis安装.note
链接: http://note.youdao.com/notesh...
二、django工程配置
1、安装依赖包
pip install celery
pip install celery-with-redis
pip install django-celery
2、配置
settings.py文件
import djcelery
#注册jdcelery
INSTALLED_APPS = [
... ,
'djcelery',
]
# celery 设置
# celery中间人 redis://redis服务所在的ip地址:端口/数据库号
BROKER_URL = 'redis://redis_ip:6379/0'
# celery结果返回,可用于跟踪结果 CELERY_RESULT_BACKEND = 'redis://redis_ip:6379/0'
# celery内容等消息的格式设置,这里使用pickle,如果不使用,会序列化报错
CELERY_ACCEPT_CONTENT = ['pickle', ] CELERY_TASK_SERIALIZER = 'json' CELERY_RESULT_SERIALIZER = 'json'
# celery时区设置,使用settings中TIME_ZONE同样的时区 CELERY_TIMEZONE = TIME_ZONE
在工程目录下,创建celery.py文件
# coding:utf-8
from __future__ import absolute_import, unicode_literals
from celery import Celery
from django.conf import settings
import os
# 获取当前文件夹名,即为该Django的项目名
project_name = os.path.split(os.path.abspath('.'))[-1]
project_settings = '%s.settings' % project_name
# 设置环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', project_settings)
# 实例化Celery,网上很多教程这里都是没有设置broker造成启动失败
app = Celery('tasks', broker='redis://redis_ip:6379/0', backend='redis://redis_ip:6379/0')
# 使用django的settings文件配置celery
app.config_from_object('django.conf:settings')
# Celery加载所有注册的应用
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
在工程目录的__init__.py文件中添加:
# 引入celery实例对象
# 一定要添加在文件最前面,否则会报错
from __future__ import absolute_import, unicode_literals
from .celery import app as celery_app
__all__ = [celery_app]
在对应app的目录下创建tasks.py文件
注意:tasks.py文件一定要创建在应用根目录下,且文件名固定,在该文件里添加你对应的后台任务代码,并注解@task
import time
from celery import task, Celery
app = Celery('tasks', broker='redis://redis_ip:6379/0', backend='redis://redis_ip:6379/0')
#在这里添加你的后台任务方法代码,并注解task
@task
def add(a, b):
print("这是任务开始")
c = a + b
print(c)
time.sleep(10)
print("这是任务结束")
3、启动celery worker
在python manage.py shell命令中输入
celery -A project_name worker --pool=solo -l info
如下图,即为启动成功
4、测试
在tasks.py文件中加入测试代码,这里复用上面tasks.py代码中的add方法
在views.py文件中创建测试view方法:
from . import tasks
def add(request,*args,**kwargs):
tasks.add.delay(1, 2)
result = {'code': 0, 'msg': '这是一个后台任务'}
return JsonResponse(result)
在url中配置url路径
from django.urls import path
from . import views
urlpatterns = [ path('add', views.add, name="add") ]
启动django
然后调用对应url,发现响应只用63ms
在manage.py shell日志中静候后台任务执行,发现任务已经执行,耗时10s多(因为上述代码sleep了10s)
到这里,celery已成功运行。
三、问题积累
1、启动celery worker时,报链接失败
(1)可能是限制bind没有注释,仅允许本机访问;参考redis配置项
(2)保护模式为关闭,参考redis配置项
(3)需要鉴权
2、运行后台任务时,报错 kombu.exceptions.ContentDisallowed: Refusing to deserialize untrusted content of type pickle (application/x-python-serialize)
https://blog.csdn.net/libing_thinking/article/details/78622943
kombu.exceptions.ContentDisallowed: Refusing to deserialize untrusted
content of type pickle (application/x-python-serialize)
需要将settings.py文件中修改celery配置
CELERY_ACCEPT_CONTENT = ['pickle', ]
3、运行后台任务时,报错AttributeError: 'str' object has no attribute 'items'
python版本为3.6
#貌似是redis版本高了,重新安装后得以解决 pip install redis==2.10.6
4、启动celery时报错:TypeError: can only concatenate tuple (not “NoneType”) to tuple
这个问题是由于安装包不全导致的,分别检查是否安装了以下安装包:
pip install celery
pip install celery-with-redis
pip install django-celery