python并发分布式框架Celery搭建

最近项目用到一个好东西，分享给大家，简单，有效，这就是我的感受！先来个图

Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。

消息中间件

Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis, MongoDB (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ

最简单的当属Redis，5分钟内搭建好一个并发分布式框架！

任务执行单元

Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。

任务结果存储

Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, Redis，memcached, MongoDB，SQLAlchemy, Django ORM，Apache Cassandra, IronCache

OK 直接来个立即能跑的demo吧。

0、安装celery/redis

    #yum install redis     #安装redis消息队列服务
    #pip install celery     #安装celery框架
    #pip install redis      #使用redis作为celery的broker时需要安装redis的python库(性能和RabbitMQ相当[erlang实现])

1、worker脚本tasks.py

from celery import Celery
import subprocess
brokers = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery('tasks', broker=brokers, backend=backend)

@app.task
def shell_popen(cmd):
        proc = subprocess.Popen(cmd, shell=True) #stdout=subprocess.PIPE
        return proc.pid

@app.task
def shell_check_output(cmd):
        return subprocess.check_output(cmd, shell=True)

if __name__ == "__main__":

    app.start()

2、任务创建脚本process.py

from tasks_proxy_requests import rpc_shell_popen

from tasks_proxy_requests import rpc_shell_check_output

cmd="ifconfig"

result = shell_check_output.delay(cmd)

while not result.ready():
       time.sleep(0.01)

out= result.get()

print out

[root@mcuhome abin]#/usr/bin/celery -A tasks worker --loglevel=info -c 10    #创建10个worker并发，等待任务处理

[root@mcuhome abin]#./process.py    #显示print out的结果

    附：Celery异常处理
    celery提示Missing redis library，安装升级python redis库
        File "/usr/local/lib/python2.7/site-packages/kombu/connection.py", line 576, in create_transport
            return self.get_transport_cls()(client=self)
        File "/usr/local/lib/python2.7/site-packages/kombu/transport/redis.py", line 1009, in __init__
            raise ImportError('Missing redis library (pip install redis)')
        [root@mcuhome celery]# pip2.7 install redis --upgrade
        Collecting redis
        Downloading redis-2.10.6-py2.py3-none-any.whl (64kB)
            100% |████████████████████████████████| 71kB 295kB/s 
        Installing collected packages: redis

        Successfully installed redis-2.10.6

要想成为一个出色的程序员，请前往IT搜123 www.itso123.com了解，搜集各种必备网站的程序员导航。