使用Celery

image.png

Celery 是一个专注于实时处理和任务调度的分布式任务队列。所谓任务就是消息，消息中的有效载荷中包含要执行任务需要的全部数据。

使用Celery的常见场景如下：

1.web应用。当用户触发的一个操作需要很长时间才能执行完成时，可以把它作为任务交给Celery去异步执行，执行完再返给用户。这段时间用户不需要等待，提高了网站的整体吞吐量和响应时间。
2.定时任务。生产环境会跑一些定时任务。假如你有上千台服务器，上千种任务，定时任务的管理很困难，Celery可以帮助我们快速在不同的机器设定不同的任务。
3.同步完成的附加工作都可以异步完成。比如发送短信/邮件，消息推送，清理/设置缓存等
Celery还提供了如下的特性：
1.方便查看定时任务的执行情况，比如执行是否成功，当前状态，执行任务花费的时间等。
2.可以使用功能齐备的管理后台或者命令行添加，更新，删除任务。
3.方便把任务和配置管理相关联。
4.可选多进程，Eventlet 和Gevent 三种模式并发执行。
5.提供错误处理机制。
--提供多种任务原语，方便实现任务分组，拆分和调用链。
--支持多种消息代理和存储后端。

Celery的架构

Celery包含如下组件：
1.Celery Beat :任务调度器，Beat进程会读取配置文件的内容，周期性地将配置中到期需要执行的任务发送给任务队列。
2.Celery Worker:执行任务的消费者，通常会在多台服务器运行多个消费者来提高执行效率。
3.Broker:消息代理，或者叫做消息中间件，接受任务生产者发送过来的任务消息，存进队列再按序分发给任务消费方(通常是消息队列或者数据库)。
4.Producer:调用Celery提供的API，函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。
5.Result Backend:任务处理完后保存状态信息和结果，以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、SQLAlchemy等方式。

Celery的架构图如图所示：

image.png

选择消息代理

Celery目前支持RabbitMQ、Redis、MongoDB、Beanstalk、SQLAlchemy、Zookeeper等作为消息代理，但适用于生产环境的只有RabbitMQ和Redis，至于其他的方式，一是支持有限，二是可能得不到更好的技术支持。
Celery官方推荐的是RabbitMQ，Celery的作者Ask Solem Hoel最初在VMware就是为RabbitMQ工作的，Celery最初的设计就是基于RabbitMQ，所以使用RabbitMQ会非常稳定，成功案例很多。如果使用Redis，则需要能接受发生突然断电之类的问题造成Redis突然终止后的数据丢失等后果。

Celery序列化

在客户端和消费者之间传输数据需要序列化和反序列化，Celery支持如表9.2所示的序列化方案：

image.png

为了提供更高的性能，我们选择如下方案：

1. 选择RabbitMQ作为消息代理。
2. RabbitMQ的Python客户端选择librabbitmq这个C库。
3. 选择Msgpack做序列化。
4. 选择Redis做结果存储。
   下面先安装它们。Celery提供bundles的方式，也就是安装Celery的同时可以一起安装多种依赖：

pip install "celery[librabbitmq,redis,msgpack]"

注：bundles的原理是在setup.py的setup函数中添加extras_require。

从一个简单的例子开始

先演示一个简单的项目让Celery运行起来。项目的目录结构如下：

image.png

先看一下主程序celery.py：

# 拒绝隐式引入(因为celery.py的名字和celery的包名冲突，需要使用这条语句让程序正确地运行。)
from __future__ import absolute_import
from celery import Celery

app = Celery("flasky",include = ["flasky.tasks"])
#app是Celery类的实例，创建的时候添加了flasky.tasks这个模块，也就包含了flasky/tasks.py这个文件
app.config_from_object("flasky.celeryconfig")
#把Celery配置存放进flasky/celeryconfig.py文件，使用app.config_from_object加载配置项。

if __name__ == '__main__':
    app.start()

看一下存放任务函数的文件tasks.py：

from __future__ import absolute_import

from flasky.celery import app

@app.task
def add(x, y):

    return x + y


@app.task
def reduce(x, y):

    return x - y

tasks.py只有两个任务函数add，reduce，让它生效的最直接的方法就是添加app.task这个装饰器。
看一下我们的配置文件celeryconfig.py

BROKER_URL = 'redis://localhost:6379/5'
# 使用redis 作为消息代理
CELERY_RESULT_BACKEND = 'redis://localhost:6379/5'
# 把任务结果存在了Redis
SQLALCHEMY_TRACK_MODIFICATIONS = True
CELERY_TASK_SERIALIZER = 'msgpack' 
# 任务序列化和反序列化使用msgpack方案
CELERY_RESULT_SERIALIZER = 'json' 
# 读取任务结果一般性能要求不高，所以使用了可读性更好的JSON
CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 
# 任务过期时间，不建议直接写86400，应该让这样的magic数字表述更明显
CELERY_ACCEPT_CONTENT = ['json', 'msgpack'] 
# 指定接受的内容类型

这个例子中没有任务调度相关的内容， 所以只需要启动消费者：

celery -A flasky worker -l info

image.png

现在开启另外一个终端，用IPython调用add函数：

image.png

可以看到worker的终端上显示执行了任务：

image.png

通过IPython触发的任务就完成了。任务的结果都需要根据上面提到的task_id获得，我们还可以用如下两种方式随时找到这个结果：

task_id = '93288a00-94ee-4727-b815-53dc3474cf3f'
In : add.AsyncResult(task_id).get()
Out: 4

或者：

In : from celery.result import AsyncResult
In : AsyncResult(task_id).get()
Out: 4

指定队列

Celery非常容易设置和运行，通常它会使用默认的名为celery的队列（可以通过CELERY_DEFAULT_QUEUE修改）用来存放任务。我们可以使用优先级不同的队列来确保高优先级的任务不需要等待就得到响应。

基于flasky目录下的源码，我们创建一个flasky目录，并对flasky/celeryconfig.py添加如下配置：

from kombu import Queue


BROKER_URL = 'redis://localhost:6379/5'
# 使用redis 作为消息代理
CELERY_RESULT_BACKEND = 'redis://localhost:6379/5'
# 把任务结果存在了Redis
SQLALCHEMY_TRACK_MODIFICATIONS = True
CELERY_TASK_SERIALIZER = 'msgpack' 
# 任务序列化和反序列化使用msgpack方案
CELERY_RESULT_SERIALIZER = 'json' 
# 读取任务结果一般性能要求不高，所以使用了可读性更好的JSON
CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 
# 任务过期时间，不建议直接写86400，应该让这样的magic数字表述更明显
CELERY_ACCEPT_CONTENT = ['json', 'msgpack'] 
# 指定接受的内容类型
CELERY_QUEUES = ( # 定义任务队列

Queue('default', routing_key='task.#'), # 路由键以“task.”开头的消息都进default队列

Queue('web_tasks', routing_key='web.#'), # 路由键以“web.”开头的消息都进web_tasks队列

)
CELERY_DEFAULT_EXCHANGE = 'tasks' # 默认的交换机名字为tasks

CELERY_DEFAULT_EXCHANGE_TYPE = 'topic' # 默认的交换类型是topic

CELERY_DEFAULT_ROUTING_KEY = 'task.default' 
# 默认的路由键是task.default，这个路由键符合上面的default队列

CELERY_ROUTES = {

    'flasky.tasks.add': { # tasks.add的消息会进入web_tasks队列

    'queue': 'web_tasks',

    'routing_key': 'web.add',

    },
    'flasky.tasks.reduce': {  # tasks.reduce的消息会进入default队列

        'queue': 'default',

        'routing_key': 'web.reduce',

    }

}

现在用指定队列的方式启动消费者进程：

celery -A flasky worker -Q web_tasks,default -l info

使用任务调度

之前的例子都是由发布者触发的，本节展示一下使用Celery的Beat进程自动生成任务。基于flasky目录下的源码，创建一个flasky目录，对flasky/celeryconfig.py添加如下配置：

from datetime import timedelta
CELERYBEAT_SCHEDULE = {

    'tang': {

        'task': 'flasky.tasks.add',

       'schedule': timedelta(seconds=10),

       'args': (16, 16)

    }
}

CELERYBEAT_SCHEDULE中指定了tasks.add这个任务每10秒跑一次，执行的时候的参数是16和16。
启动Beat程序：

celery beat -A flasky

然后启动Worker进程：

celery -A flasky worker -l info

之后可以看到每10秒都会自动执行一次tasks.add。
注：Beat和Worker进程可以一并启动：

celery -B -A flasky worker -l info

链接