理解分布式任务队列Celery

一.使用Celery

    1.什么是Celery?

            Celery是一个专注于实时处理和任务调度的分布式任务队列。所谓任务就是消息，消息中的有效载荷中包含要执行任务需要的全部数据。

    2.使用Celery的常见场景如下：

             a.    web应用。当用户触发的一个操作需要较长时间才能执行完成时，可以把它作为任务交给Celery去异步执行，执行完成在返回给用                       户。这段时间用户不需要等待，提高了网站的整体吞吐量和响应时间。

             b.    定时任务。生产环境经常会跑一些定时任务。假如你有上千台的服务器、上千种任务，定时任务的管理很困难，Celery可以帮助我们

                    快速在不同的机器设定不同种任务。

             c.    其他可以异步执行的任务。为了充分提高网站性能，对于请求和响应之外的那些不要求必须同步完成的附加工作都可以异步完成。 比                      如发送短信/邮件、推送消息、清理/设置缓存等。

     3.Celery还提供了如下的特性：

             a.    方便地查看定时任务的执行情况，比如执行是否成功、当前状态、执行任务花费的时间等。

             b.    可以使用功能齐备的管理后台或者命令行添加、更新、删除任务。

             c.    方便把任务和配置管理相关联。

             d.    可选多进程、Eventlet和Gevent三种模式并发执行。

             e.    提供错误处理机制。

             f.    提供多种任务原语，方便实现任务分组、拆分和调用链。

             g.    支持多种消息代理和存储后端。

二.Celery的架构

    Celery包含如下组件：

            Celery Beat:    任务调度器，Beat进程会读取配置文件的内容，周期性地将配置中到期需要执行的任务发送给任务队列。

            Producer：    生产者，调用了Celery提供的API、函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。

            Celery Worker：    执行任务的消费者，通常会在多台服务器运行多个消费者来提高执行效率。

            Broker:    消息代理，或者叫作消息中间件，接受任务生产者发送过来的任务消息，存进队列再按序分发给任务消费方(通常是消息队列或者

            数据库）。

            Result Backend：    任务处理完后保存状态信息和结果，以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、

            SQLALchemy等方式。

        Celery的架构图：