我们启动celery基本命令为:
celery -A mytask worker --loglevel=info
当以此命令启动celery后,celery默认情况下执行任务会有个预取机制(prefetching),预取是什么呢,如下一张图:
我们假设有两个worker,但当任务量较多的时候,celery有个任务队列,每个wroker执行完了,就从这个队列中取任务接着执行。但当有预取机制时,队列中每个task,有了自己的明确限制,就是我这个任务需要指定的worker去执行,就算其他worker是空闲状态,也不能拿到我执行。
celery可能是考虑到公平性问题,即每个worker所执行的任务数量是要均等的。但是,这样有一个问题,当某个任务需要执行很长时间,导致这个任务占用的worker一直得不到释放,这时候任务队列中被这个不被释放的worker预取的任务,一直在等待,并且,其他空闲worker想要取任务,但是都被这个等待的任务阻塞。整个celery都讲陷入等待。
如何解决上述问题呢?
启动celery的命令加上:
celery -A mytask worker --loglevel=info -Ofair
当加上-Ofair时,celery将取消预取机制,如下图:
这样,只要有空闲worker,就会从任务队列中去取任务,保证任务高效执行。这样也就导致每个worker执行的任务量有差距了。