腾讯蓝鲸智云是一套基于PaaS的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。
PaaS平台不仅将应用服务的运行和开发环境作为一种服务提供给开发者用户,更为开发者用户提供了高效便捷的开发服务,如:组件系统,统一登录,权限管理,后台框架,MagicBox,桌面/工作台等。
PaaS平台提供支持多语言的开发框架,助力运维人员能基于平台之上以自己擅长的技术语言(Python、java等)开发运维自动化工具。
通过了解PaaS的设计理念,运维人员能够基于蓝鲸的PaaS平台,从零开始进行SaaS应用的实战开发,快速构建企业运维/运营系统,提升企业自动化水平。
之前在一个银行自动化运维项目中,客户希望我们在蓝鲸PaaS上开发一个数据库巡检SaaS。具体需求如下:
为了保障数据库正常运行,保证数据的安全性、完整性和可用性,需要开发一个自动化巡检工具,代替原来的人工数据库巡检。并且巡检周期窗口分为日巡检、周巡检、月巡检、半年度巡检四类:
巡检实现方式分为两种:
1、立即巡检
用户首先选择某一业务下对应的目标主机,需要巡检的数据库实例(支持多选),设置数据采样区间(当前时间之前的任意时间段)。
点击立即巡检按钮,等待数秒钟,巡检完成。点击查看详情,导出报告。
2、定时巡检
用户可以根据需求设置每天、每周、每月来执行巡检任务。这里举例说明一下每周,用户首先需要配置某业务下面主机、数据库实例、巡检频率、巡检时长(任意天数)、执行时间(每周某一天的某时某分某秒),如下图:
针对以上需求,平时我们开发时使用periodic_task装饰器,程序启动后自动执行周期任务:
@periodic_task(run_every=crontab(minute='*/5', hour='*', day_of_week="*"))
def get_time():
"""
celery 周期任务示例
run_every=crontab(minute='*/5', hour='*', day_of_week="*"):每 5 分钟执行一次任务
"""
now = datetime.datetime.now()
logger.error(u"celery 周期任务调用成功,当前时间:{}".format(now))
crontab()实例化的时候没设置任何参数,都是使用默认值。crontab一共有7个参数,常用有5个参数分别为:
minute:分钟,范围0-59
hour:小时,范围0-23
day_of_week:星期几,范围0-6。以星期天为开始,即0为星期天。这个星期几还可以使用英文缩写表示,例如“sun”表示星期天
day_of_month:每月第几号,范围1-31
month_of_year:月份,范围1-12
以上方案有个弊端:
举例来说,假如客户选择每周三早上8点执行任务,采样区间为3天。假如首次10月1日8:00执行任务,触发定时任务获取9月28日8:00-10月1日8:00之间的数据;然后再次执行时间为10月8日,再次触发定时任务,循环执行。
最终,通过以下方式解决:
模板函数提前开发完成,加上@task()装饰器:
@task()
def auto_iip(**kwargs):
logger.error(kwargs)
'此处写逻辑代码'
测试每分钟执行一次,启动工程,启动celery,调用下面函数,OK,等待1分钟,sucess!
from djcelery.models import PeriodicTask, CrontabSchedule
from djcelery.schedulers import ModelEntry, DatabaseScheduler
def test_celery_task(date_data):
crontab= CrontabSchedule.objects.create(
hour='*',
minute='*/1',
day_of_week='*',
day_of_month='*',
month_of_year="*"
)
schedule = crontab.schedule
create_or_update_task = DatabaseScheduler.create_or_update_task
#'home_application.celery_tasks.auto_iip' home模块下的task。
task_template='home_application.celery_tasks.auto_iip'
#task_name自定义,不能重复。
task_name = 'test'
schedule_dict = {
'schedule': schedule,
'args': [],
'kwargs': data,
'task': task_template,
'enabled': 1
}
create_or_update_task(task_name, **schedule_dict)
定时任务停止,直接根据task_name进行删除
def delete_celery_task(task_name):
DatabaseScheduler.delete_task(task_name)
ok!大功告成。