python定时任务调度器APScheduler

python定时任务调度器APScheduler

基本概念

APScheduler四大组件：

• 触发器 triggers ：用于设定触发任务的条件
• 任务储存器 job stores：用于存放任务，把任务存放在内存或数据库中
• 执行器 executors： 用于执行任务，可以设定执行模式为单线程或线程池
• 调度器 schedulers： 把上方三个组件作为参数，通过创建调度器实例来运行

调度器 schedulers

根据开发需求选择相应的组件，下面是不同的调度器组件：

• 参数	说明
  BlockingScheduler	阻塞式调度器：适用于只跑调度器的程序。
  BackgroundScheduler	后台调度器：适用于非阻塞的情况，调度器会在后台独立运行。
  AsyncIOScheduler	AsyncIO调度器，适用于应用使用AsnycIO的情况。
  GeventScheduler	Gevent调度器，适用于应用通过Gevent的情况。
  TornadoScheduler	Tornado调度器，适用于构建Tornado应用。
  TwistedScheduler	Twisted调度器，适用于构建Twisted应用。
  QtScheduler	Qt调度器，适用于构建Qt应用。

任务储存器job stores

任务储存器的选择，要看任务是否需要持久化。如果任务是无状态的，选择默认内存任务存储器MemoryJobStore。但是，如果需要在程序关闭或重启时，保存任务的状态，那么就要选择持久化的任务储存器。可通过SQLAlchemyJobStore选择数据库进行持久化。

组件为：

参数	说明
MemoryJobStore	没有序列化，任务存储在内存中，增删改查都是在内存中完成。
SQLAlchemyJobStore	使用 SQLAlchemy这个 ORM框架作为存储方式。
MongoDBJobStore	使用 mongodb作为存储器。
RedisJobStore	使用 redis作为存储器。

执行器 executors

执行器默认的是ThreadPoolExecutor线程池执行器，如果是计算密集型任务，那么最好用ProcessPoolExecutor进程池执行器方案来充分利用多核算力。也可以将ProcessPoolExecutor作为第二执行器，混合使用两种不同的执行器。

组件为：

参数	说明
ThreadPoolExecutor	线程池执行器
ProcessPoolExecutor	进程池执行器
GeventExecutor	Gevent程序执行器
TornadoExecutor	Tornado程序执行器
TwistedExecutor	Twisted程序执行器
AsyncIOExecutor	asyncio程序执行器

触发器 triggers

APScheduler有三种内置的触发器：

参数	说明
date	日期：触发任务运行的具体日期
interval	间隔：触发任务运行的时间间隔
cron	周期：触发任务运行的周期

1. 在指定时间点触发任务 date

from datetime import date
from apscheduler.schedulers.blocking import BlockingScheduler

sched = BlockingScheduler()

def my_job(text):
    print(text)

# 在2009年11月6日执行
sched.add_job(my_job, 'date', run_date=date(2009, 11, 6), args=['text'])

sched.start()

其中，run_date参数可以是date类型、datetime类型或文本类型。

# 1. date类型
# 在2009年11月6日执行
sched.add_job(my_job, 'date', run_date=date(2009, 11, 6), args=['text'])
# 2. datetime类型
# 在2009年11月6日 16:30:05执行
sched.add_job(my_job, 'date', run_date=datetime(2009, 11, 6, 16, 30, 5), args=['text'])
# 3. 文本类型
sched.add_job(my_job, 'date', run_date='2009-11-06 16:30:05', args=['text'])

# 4.未显式指定，则立即执行
sched.add_job(my_job, args=['text'])

2. 周期触发任务 interval

interval的触发器可以设置以下的触发参数：

参数	说明
weeks (int)	间隔几周
days (int)	间隔几天
hours (int)	间隔几小时
minutes (int)	间隔几分钟
seconds (int)	间隔多少秒
start_date (datetime 或 str)	开始日期
end_date (datetime 或 str)	结束日期
timezone (datetime.tzinfo 或str)	时区

from datetime import datetime
from apscheduler.schedulers.blocking import BlockingScheduler

def job_function():
    print("Hello World")

sched = BlockingScheduler()

# 每2小时触发
sched.add_job(job_function, 'interval', hours=2)

# 在2010-10-10 9:30 至 2014-06-15 11:00时间范围每2小时出发
sched.add_job(job_function, 'interval', hours=2, start_date='2010-10-10 09:30:00', end_date='2014-06-15 11:00:00')

# jitter振动参数，给每次触发添加一个随机浮动秒数，一般适用于多服务器，避免同时运行造成服务拥堵。
# 每小时（上下浮动120秒区间内）运行`job_function`
sched.add_job(job_function, 'interval', hours=1, jitter=120)

sched.start()

3. 触发任务运行的周期 cron

强大的类crontab表达式

参数	说明
year (int 或 str)	年，4位数字
month (int 或 str)	月 (范围1-12)
day (int 或 str)	日 (范围1-31)
week (int 或 str)	周 (范围1-53)
day_of_week (int 或 str)	周内第几天或者星期几 (范围0-6 或者 mon,tue,wed,thu,fri,sat,sun)
hour (int 或 str)	时 (范围0-23)
minute (int 或 str)	分 (范围0-59)
second (int 或 str)	秒 (范围0-59)
start_date (datetime 或 str)	最早开始日期(包含)
end_date (datetime 或 str)	最晚结束时间(包含)
timezone (datetime.tzinfo 或str)	指定时区

# 注意参数顺序
class apscheduler.triggers.cron.CronTrigger(year=None, month=None, day=None, week=None, day_of_week=None, hour=None, minute=None, second=None, start_date=None, end_date=None, timezone=None, jitter=None)

表达式类型

表达式	参数类型	描述
*	所有	通配符。例：minutes=*即每分钟触发
*/a	所有	可被a整除的通配符。
a-b	所有	范围a-b触发
a-b/c	所有	范围a-b，且可被c整除时触发
xth y	日	第几个星期几触发。x为第几个，y为星期几
last x	日	一个月中，最后个星期几触发
last	日	一个月最后一天触发
x,y,z	所有	组合表达式，可以组合确定值或上方的表达式

month和day_of_week参数分别接受的是英语缩写jan– dec 和 mon – sun

from apscheduler.schedulers.blocking import BlockingScheduler

def job_function():
    print "Hello World"

sched = BlockingScheduler()

# 任务会在6月、7月、8月、11月和12月的第三个周五，00:00、01:00、02:00和03:00触发
sched.add_job(job_function, 'cron', month='6-8,11-12', day='3rd fri', hour='0-3')

# start_date 和 end_date 可以用来适用时间范围
# 在2014-05-30 00:00:00前，每周一到每周五 5:30运行
sched.add_job(job_function, 'cron', day_of_week='mon-fri', hour=5, minute=30, end_date='2014-05-30')


sched.start()

添加任务

添加任务的方法有两种：

1. 通过调用add_job()
2. 通过装饰器scheduled_job()

其他任务

scheduler.remove_job(job_id,jobstore=None)#删除作业
scheduler.remove_all_jobs(jobstore=None)#删除所有作业
scheduler.pause_job(job_id,jobstore=None)#暂停作业
scheduler.resume_job(job_id,jobstore=None)#恢复作业
scheduler.modify_job(job_id, jobstore=None, **changes)#修改单个作业属性信息
scheduler.reschedule_job(job_id, jobstore=None, rigger=None,**trigger_args)#修改单个作业的触发器并更新下次运行时间
scheduler.print_jobs(jobstore=None, out=sys.stdout)#输出作业信息