celery框架|环境搭建及测试[celery+rabbitmq+redis]

1. celery 简介

关于celery的简介，网上一大堆，在此不做赘述。

举个不太恰当的例子来作说明。celery就是一个服务团队，进入一家餐馆开始服务后，他的厨子在不停地做菜，前台有多个顾客不停地在吃，只要桌子上没有菜了，就会有新做好的端上来，直至所有的菜都被吃完为止。
后台的厨子叫做broker，顾客叫做worker，而用来临时存放饭菜的桌子叫做消息队列(message queue)，而洗碗池(此例中每名顾客吃完都会产生一个脏的盘子)叫做backend。

以分布式爬虫为例，当确定任务后，由broker将多个任务推送至消息队列，然后多个分布式的小爬虫不停地从消息队列中获取子任务进行执行，并将执行的结果存放至backend中。

这就是分布式框架celery的基本原理，简单吧？

非常值得一提的是，celery是个服务团队(框架)，不是一家餐馆(程序)，他不自带桌子(消息队列)，也不提供洗碗池(backend)，他只是面向这些桌