celery

celery（沙了V）是基于python实现的一个异步任务的调度工具，同时还是一个任务队列，主要用于处理耗时的任务。

Celery组成结构

任务队列是一种跨线程、跨机器工作的一种机制

任务队列中包含任务的工作单元。有专门的工作进程持续不断的监视任务队列，并从中获得新的任务并处理

Celery通过消息进行通信，通常使用一个叫broker(中间人)来协client(任务的发出者)和worker(任务的处理者)

client发出消息到队列中，broker将队列中的信息派发给worker来处理

一个Celery系统可以包含很多的worker和broker，可增强横向扩展性和高可用性能。

Celery组成结构是生产者消费者模型的一种体现

   celery架构由三个模块组成：消息中间件（message

broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。

    消息中间件（Broker）: 消息中间人，是任务调度队列，是一个独立的服务，是一个生产者消费者模式，生产者把任务放入队列中，消费者（worker）从任务队列中取出任务执行，任务的执行可以按照顺序依次执行也可以按照计划时间进行。但是Broker本身不提供队列服务，所以要集成第三方队列，推荐使用RatbbitMQ或Redis.

   任务执行单元（worker）：即执行任务的程序，可以有多个并发。它实时监控消息队列，获取队列中调度的任务，并执行它。

       任务执行结果存储（task result store）：由于任务的执行同主程序分开，如果主程序想获取任务执行的结果，就必须通过中间件存储。同消息中间人一样，存储也可以使用RabbitMQ、Redis；另外，假如不需要保存执行的结果也可以不配置这个模块。

为什么使用CELERY而不使用线程发送耗时任务。

主要是因为并发比较大的时候，线程切换会有开销时间，假如使用线程池会限制并发的数量；同时多线程间的数据共享维护比较麻烦。

而celery是异步任务处理，是分布式的任务队列。它可以让任务的执行同主程序完全脱离，甚至不在同一台主机内。它通过队列来调度任务，不用担心并发量高时系统负载过大。它可以用来处理复杂系统性能问题，却又相当灵活易用。

celery -A celery对象的路径 worker -l info

中间人broker

示例：此处演示Redis数据库作为中间人broker

Celery需要一种解决消息的发送和接受的方式，我们把这种用来存储消息的的中间装置叫做message broker, 也可叫做消息中间人。

作为中间人，我们有几种方案可选择：

1.RabbitMQ

RabbitMQ是一个功能完备，稳定的并且易于安装的broker. 它是生产环境中最优的选择。

使用RabbitMQ的细节参照以下链接：http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html#broker-rabbitmq

如果使用的是Ubuntu或者Debian发行版的Linux，可以直接通过命令安装RabbitMQ:sudo apt-get install rabbitmq-server

安装完毕之后，RabbitMQ-server服务器就已经在后台运行。

如果用的并不是Ubuntu或Debian, 可以在以下网址：

http://www.rabbitmq.com/download.html

去查找自己所需要的版本软件。

2.Redis

Redis也是一款功能完备的broker可选项，但是其更可能因意外中断或者电源故障导致数据丢失的情况。

关于是由那个Redis作为Broker，可访下面网址：http://docs.celeryproject.org/en/latest/getting-started/brokers/redis.html#broker-redis