django中django-celery实现定时任务
在网站开发的过程中我们经常会遇到一些异步任务的需求，有些异步任务是实时的，有些则是需要定时完成，我写过一篇django中使用celery编写异步发送邮件的博文https://blog.csdn.net/weixin_44951273/article/details/100107526，这次使用django-celery编写定时任务，需要用到的第三方库：pip install django-celery,pip install django-redis,pip install redis==2.10.6
第一步：
配置settings：
注册
注册定时任务
# celery定时任务
import djcelery # 导入django-celery模块
djcelery.setup_loader() # 进行模块加载
BROKER_URL = 'redis://127.0.0.1:6379/1' # 任务容器地址，我使用的是redis数据库
CELERY_IMPORTS = ('Celery_tasks.tasks') # 具体任务文件
CELERY_TIMEZONE = 'Asia/Shanghai' # celery时区
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # celery处理器，固定
# celery定时器
from celery.schedules import crontab,timedelta
CELERYBEAT_SCHEDULE = {
u'这是一个定时任务':{
"task":"Celery_tasks.tasks.timed_task", # 定时任务程序
# "schedule":timedelta(seconds=30), # 30秒执行一次
"schedule":crontab(minute='*/1'), # 每分钟执行一次
"args":(), # 定时任务所需参数
},
}
crontab用于配置时间，参数主要有minute,hour,day_of_week,day_of_month,month_of_year,官方文档举的例子如下：
| 例子 | 含义 |
|---|---|
| crontab() | 每分钟执行一次 |
| crontab(minute=0, hour=0) | 每天午夜执行 |
| crontab(minute=0, hour=’*/3’) | 每三个小时执行一次 |
| crontab(minute=0,hour=‘0,3,6,9,12,15,18,21’) | 同样是每三个小时执行一次 |
| crontab(minute=’*/15’) | 每15分钟执行一次 |
| crontab(day_of_week=‘sunday’) | 星期日每分钟执行一次 |
| crontab(minute=’*’,hour=’*’, day_of_week=‘sun’) | 同样是星期日每分钟执行一次 |
| crontab(minute=’*/10’,hour=‘3,17,22’, day_of_week=‘thu,fri’) | 每十分钟执行一次，但仅在周四或周五的凌晨3-4点，下午5-6点和晚上10点至11点之间执行。 |
| crontab(minute=0, hour=’*/2,*/3’) | 时间数可以整除2或者3的时间点执行一次，例如2点，3点，4点。5点不可以整除2或3，不执行 |
| crontab(minute=0, hour=’*/5’) | 时间点数可被5整除的时间点执行 |
| crontab(minute=0, hour=’*/3,8-17’) | 每天8点到17点之间可被3整除的时间点执行 |
| crontab(0, 0, day_of_month=‘2’) | 每个月的第二天执行 |
| crontab(0, 0,day_of_month=‘2-30/2’) | 每个月的偶数日执行 |
| crontab(0, 0,day_of_month=‘1-7,15-21’) | 在本月的第一周和第三周执行 |
| crontab(0, 0, day_of_month=‘11’,month_of_year=‘5’) | 每年5月11日执行 |
| crontab(0, 0,month_of_year=’*/3’) | 每个季度的第一个月每天执行一次 |
第二步：
编写定时任务程序
这样一个定时任务就编写完成了，因为我们安装了djcelery app，需要同步数据库python manage.py migrate,此时数据库会增加许多celery相关的表
同时python manage.py也会多出许多命令
下面就可以启动项目了，需要启动django项目以及django-celery，启动django-celery之前需要先启动redis
启动项目和django-celery：
python manage.py runserver # 启动项目
python manage.py celery worker -l info # 启动celery worker，处理任务
python manage.py celery beat -l info # 启动celery beat，负责把任务分发给worker
# 为了方便测试，也可以同时启动worker和beat，但此方法windows，只能分别启动。linux可行。
python manage.py celery worker -B -l info
每隔一分钟定时任务就会执行一次
但是还有一个问题，每隔worker默认跑完100个任务才会自我销毁释放内存，这样会使worker占用内存越来越大且不释放，导致内存泄漏，因此需要设置worker允许的最大任务数CELERYD_MAX_TASKS_PER_CHILD = 5
之前我们已经注册了djcelery并同步了数据库，因此我们可以在django自带后台admin中自定义定时任务
