celery beat实战
测试CELERYBEAT的例子：
celery_test
|proj
|__init__.py
|celery.py
|email_task.py
|calcu_tasks.py
start_server.sh
|proj_v1
|xxx_task.py
__init__.py为空文件。
celery.py，
#-*-coding=utf-8-*-
from __future__ import absolute_import
from celery import Celery
from celery.schedules import crontab
from kombu import Queue
app = Celery("proj",
broker = "redis://10.121.84.90:16379/6",
include = ['proj.email_task','proj.calcu_tasks'] #！！！！！
)
app.conf.update(
CELERY_DEFAULT_QUEUE = 'default',
CELERY_QUEUES = (Queue('hipri'),),
#CELERY_ROUTES={
#"proj.email_task.do_email":{'queue':'hipri'},
#},
CELERYBEAT_SCHEDULE = {
"do_email":{
"task":"proj.email_task.do_email",
"schedule":crontab(minute="*/1"),
"args":(),
"options":{'queue':'default'}
},
"do_email_new":{
"task":"proj.email_task.do_email_new",
"schedule":crontab(minute="*/1"),
"args":(),
"options":{'queue':'hipri'}
},
"add":{
"task":"proj.calcu_tasks.add",
"schedule":crontab(minute="*/1"),
"args":(3,4),
"options":{'queue':'hipri'}
},
},
)
if __name__ == '__main__':
pass
#app.start()
email_task.py，
from __future__ import absolute_import
import sys
import os
import hashlib
import time
from proj.celery import app
reload(sys)
sys.setdefaultencoding('utf-8')
sys.path.append(os.path.join(os.path.dirname(__file__), "./"))
@app.task()
def do_email():
print 'begin to email'
time.sleep(5)
print 'email complete'
@app.task()
def do_email_new():
print 'begin to email new'
time.sleep(5)
print 'email new complete'
calcu_tasks.py，
from __future__ import absolute_import
import sys
import os
import hashlib
import time
from proj.celery import app
@app.task
def add(x, y):
print '%d + %d = %d'%(x, y, x+y)
start_server.sh，
#!/bin/bash
#nohup celery -A proj worker -n default_worker -c 2 -B -Q default -l debug &
#nohup celery -A proj worker -n hipri_worker -c 2 -B -Q hipri -l debug &
#celery multi start default_worker hipri_worker -A proj -c 2 -B -Q:default_worker default -Q:hipri_worker hipri -l debug
nohup celery -A proj worker -n default_worker -c 2 -Q default -l debug &
nohup celery -A proj worker -n hipri_worker -c 2 -Q hipri -l debug &
nohup celery -A proj beat &
xxx_task.py为随便定义的类似
email_task.py的一个celery服务程序。
1. 经验证，不同目录共享同一个app=Celery()对象是不行的，比如上面例子中proj目录下
celery.py中的app不能共享给proj_v1目录下的
xxx_task.py使用。
2.
nohup celery -A proj worker -n default_worker -c 2 -B -Q default -l debug &
nohup celery -A proj worker -n hipri_worker -c 2 -B -Q hipri -l debug &
上面
用-B选项开启多个worker
的做法，会导致一个任务被执行两次，因为celery beat实例开启了两个。
正确的做法，
nohup celery -A proj worker -n default_worker -c 2 -Q default -l debug &
nohup celery -A proj worker -n hipri_worker -c 2 -Q hipri -l debug &
nohup celery -A proj beat &
也就是说，celery beat实例只应该开启一个。
3. CELERYBEAT_SCHEDULE中实现routing似乎比较简单。
4. 添加celery定时任务，除了手动配置
CELERYBEAT_SCHEDULE，也可以通过函数
add_periodic_task(...)
来完成，详见 http://docs.celeryproject.org/en/master/userguide/periodic-tasks.html 。