django-celery-beat的使用

一、安装与配置

1. 使用pip安装包：

$ pip install django-celery-beat

2. 将django_celery_beat模块添加到INSTALLED_APPSDjango项目中settings.py：

#jdango时区配置

# 官方用来修复CELERY_ENABLE_UTC=False and USE_TZ = False 时时间比较错误的问题；
# 详情见：https://github.com/celery/django-celery-beat/pull/216/files
DJANGO_CELERY_BEAT_TZ_AWARE = False
# 使用django_celery_beat插件用来动态配置任务！
CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler'

3. 应用Django数据库迁移，以便创建必要的表：

$ python manage.py migrate

4. 注册django-celery-beat应用：

INSTALLED_APPS = [
...
'django_celery_beat',
...
]

迁移之后生产几个表：

django_celery_beat.models.PeriodicTask # 此模型定义要运行的单个周期性任务。
django_celery_beat.models.IntervalSchedule # 以特定间隔（例如，每5秒）运行的计划。
django_celery_beat.models.CrontabSchedule
# 与像在cron项领域的时间表 分钟小时日的一周 DAY_OF_MONTH month_of_year
django_celery_beat.models.PeriodicTasks # 此模型仅用作索引以跟踪计划何时更改

django_celery_beat_solarschedule # 根据太阳升起降落定制任务
django_celery_beat_clockedschedule # 此模型存放已经关闭的任务

运行

1. 分别启动worker与beat

celery -A proj beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler  #启动beat 调度器使用数据库

celery worker -A taskproj -l info #启动woker

创建任务

方式一：通过Django-admin创建。

1. 创建admin用户

python manage.py createsuperadmin 

2. 手动创建定时任务
   

此时celery就会按照任务定义的时间间隔定时想中间人发送任务。

方式二：自定义创建，针对PeriodicTask表进行二次开发。

1. 自定义自己的模型业务模型，重写save方法，保存业务模型的同时，自动创建PeriodicTask任务。

class CrontabCliJob(CrontabBaseJob):
    '''
    调用django-celery-beat的model 实现创建更新任务
    '''

    type_choices = (
        ('单纯采集', '单纯采集'),
        ('采集解析', '采集解析')
    )

    # status_choices = (('running', '进行中'), ('stopped', '停止'), ('err', '错误'))

    type = models.CharField(max_length=50, verbose_name='采集种类', choices=type_choices, null=True, blank=True)
    cmds = models.TextField(verbose_name='执行的命令', null=True, blank=True)
    cmdb_api = models.URLField(verbose_name='CMDB在线资源API地址', default='http://zet.bocsys.cn/cmdb/device')
    device_filter = models.TextField(verbose_name='设备筛选条件', null=True, blank=True)
    filter_script = models.TextField(verbose_name='设备删选脚本', null=True, blank=True)
    auth = models.TextField(verbose_name='认证信息', null=True, blank=True)
    parse_textfsm = models.TextField(verbose_name='解析textfsm', null=True, blank=True)
    parse_scripts = models.ManyToManyField('parse.Parser')

    def save(self, *args, **kwargs):

        period_task_obj = PeriodicTask.objects.filter(name=self.job_name).first()

        if not period_task_obj:
            # 周期任务创建的前提是具备： jobname cmds dev_filter crontab_str
            if self.job_name and self.crontab_str:
                description = self.description
                start_time = datetime.now()
                crontab = get_or_update_crontab_schedule_obj(self.crontab_str)

                period_task_obj = PeriodicTask(
                    name=self.job_name,
                    task=CrontabCliJobTaskName,
                    crontab=crontab,
                    start_time=start_time,
                    description=description,
                )
                period_task_obj.save()
        else:
            description = self.description
            crontab = get_or_update_crontab_schedule_obj(self.crontab_str)
            period_task_obj.name = self.job_name
            period_task_obj.task = CrontabCliJobTaskName
            period_task_obj.crontab = crontab
            period_task_obj.description = description,
            period_task_obj.save()

        self.periodic_task = period_task_obj
        # 没有创建周期任务则根据参数判断是否可以创建周期任务
        super(CrontabCliJob, self).save(*args, **kwargs)

    class Meta:
        verbose_name = '命令行任务详情'
        verbose_name_plural = verbose_name

2. 设计开发前端界面，此处没有前端界面，还是拿Django-admin举例。
   
   此时，录入命令行任务详情后，会自动加入到PeriodicTask。