Django项目部署后apscheduler重复运行解决

解决多进程中Apscheduler重复运行问题。
在uwsgi的配置中,为了增强程序的鲁棒性,配置workers = 5.
所以部署之后,每个worker进程都启动了一份scheduler。

所以用到全局锁。
python自带的多进程多线程锁方案都需要一个共享变量来维护,但是因为worker进程是被gunicorn的主进程启动的,并不方便自己维护,所以需要一个系统级的锁。

flask项目文件锁

所以考虑用 文件锁。

原理:
首先打开(或创建)一个scheduler.lock文件,并加上非阻塞互斥锁。成功后创建scheduler并启动。

如果加文件锁失败,说明scheduler已经创建,就略过创建scheduler的部分。
最后注册一个退出事件,如果这个项目退出,则解锁并关闭scheduler.lock文件的锁。

在django的scheduler设置界面,定义一个函数initscheduler如下

def initscheduler(scheduler):
    f = open("scheduler.lock", "wb")
    try:
        fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)

        register_events(scheduler)
        scheduler.start()
    except:
        pass

    def unlock():
        fcntl.flock(f, fcntl.LOCK_UN)
        f.close()

    atexit.register(unlock)


scheduler = BackgroundScheduler()
# 调度器使用DjangoJobStore()
scheduler.add_jobstore(DjangoJobStore(), "default")

之后设置定时任务,并定义自己的任务

@register_job(scheduler, 'cron', day_of_week='mon-sun', hour='0', minute='00', second='10')
def my_job():
....#定义自己任务
pass

initscheduler(scheduler)#调用刚才那个文件锁函数,实例化调度器

你可能感兴趣的:(python,django,linux)