python——celery

celery:若要创建异步/定时任务

异步任务:指不立即执行的任务,而是等待某种方式触发后才执行的任务。

比如某些任务执行时间非常长,所以我不让他立即执行,不然程序一直等着他执行完阻塞在这儿了。所以把他扔到队列,以某种方式触发后才执行,执行结束后以回调方式通知用户。

使用场景:上传大文件。

用 Celery 前:

  1. 用户发请求
  2. 服务端接受处理
  3. 服务端处理(花很长时间)
  4. 用户收到结果

用 Celery 后:

  1. 用户发请求
  2. 服务端把接受请求
  3. 服务端把要处理的函数以及参数丢到 task queue,并获得一个 task id (很快)
  4. 用户收到 task id(您的请求已受理,但是还没有完成,但你可以用 task id 来查询结果,如果你不需要知道执行结果的话就不用再查了)

定时任务:定时执行某件事情,比如定时统计

celery框架:支持即时任务,还支持定时任务。

任务会被生产者[产生任务]放在broker,即队列,celery不提供队列,可利用redis,形成task队列

如果是异步任务,消费者woker会立即从队列中取出来执行执行任务,将结果存储backend[可以是redis等]

如果是定时任务,任务由Celery Beat进程周期性地将任务发往Broker队列,Worker会实时地监控队列中有没有任务,如果有就取出执行

你可能感兴趣的:(python,开发语言)