celery框架|环境搭建及测试[celery+rabbitmq+redis]

目录

      • 1. celery 简介
      • 2. celery 安装及部署
          • 2.1 celery 安装
          • 2.2 rabbitmq 安装
      • 3. run起一个简单的demo
          • 3.1 tasks.py 文件
          • 3.2 在terminal中调用celery:
          • 3.3 调用woker并查看执行情况

1. celery 简介

关于celery的简介,网上一大堆,在此不做赘述。

举个不太恰当的例子来作说明。celery就是一个服务团队,进入一家餐馆开始服务后,他的厨子在不停地做菜,前台有多个顾客不停地在吃,只要桌子上没有菜了,就会有新做好的端上来,直至所有的菜都被吃完为止。
后台的厨子叫做broker,顾客叫做worker,而用来临时存放饭菜的桌子叫做消息队列(message queue),而洗碗池(此例中每名顾客吃完都会产生一个脏的盘子)叫做backend

以分布式爬虫为例,当确定任务后,由broker将多个任务推送至消息队列,然后多个分布式的小爬虫不停地从消息队列中获取子任务进行执行,并将执行的结果存放至backend中。

这就是分布式框架celery的基本原理,简单吧?

非常值得一提的是,celery是个服务团队(框架),不是一家餐馆(程序),他不自带桌子(消息队列),也不提供洗碗池(backend),他只是面向这些桌

你可能感兴趣的:(分布式,爬虫,扫描器,celery,mq,分布式,celery,rabbitmq,redis,爬虫)