简单的异步任务工具——rq 的使用教程

rq是一个简单的，轻量级的异步任务工具。
如果在网站中用户发起一个用时很久（大于2分钟）的请求，如果用同步的方式，服务器就会返回超时。
这时候就需要用异步请求，用户发起请求后，服务端把作业扔给另一个进程去执行，然后立刻返回给用户，用户再通过轮询或者其他方式来获取作业的执行进度和执行结果。
rq的作用就相当于“另一个进程”。

1.安装

安装python-rq包

pip install rq

2.rq_worker

rq_worker是一个单独的进程，会监听需要执行的任务，并执行。
rq_worker.py

import redis
from rq import Worker, Queue, Connection

listen = ['high', 'default', 'low']

pool = redis.ConnectionPool(db=0, host='localhost', port=6379,
                            password='passwd')
redis_conn = redis.Redis(connection_pool=pool)

if __name__ == '__main__':
    with Connection(redis_conn):
        worker = Worker(map(Queue, listen))
        worker.work()

启动

python rq_worker.py

3.发布rq作业

1）定义作业执行的函数

funcs.py

def test_func(url, name):
    return name

注意的是作业执行的函数和发布任务的模块不能再同一个python文件中，只能通过import来导入。
在这里执行的print的信息会显示在rq_worker的进程中。

from funcs import get_url
from rq import Queue,job
pool = redis.ConnectionPool(db=0, host='localhost', port=6379,
                            password='passwd')
redis_conn = redis.Redis(connection_pool=pool)

if __name__ == '__main__':
    rq_queue=Queue(connection=redis_conn)
    job=rq_queue.enqueue(test_func, 'http://www.baidu.com',name='kevin')

先实例化一个Queue类（项目中这个实例可以做成单例）
然后通过enqueue方法，发布任务。第一个参数是执行的function名，后面跟输入给function执行的参数，可以是args也可以是kwargs。
这里会返回一个Job类的实例

4.查看作业执行的情况

发布作业返回的job类，定义位于rq.job文件中，可以去查看一下它的API，主要用到的API有：

print job.result  # 如果函数执行正常，返回作业的return，如果有异常，返回None，如果作业没执行，也是返回None
print job.get_status()  # 获取作业的状态 queued还在队列中，failed：执行失败，finished 完成
job.set_id('my_id')  # 为作业设置一个id，如果没有set_id的操作，作业的id会是一个随机的唯一的字符串
my_id = job.get_id()  # 获取作业的id
print job.to_dict()  # 把job实例转化成一个字典
job.delete()  # 从redis中把该作业删除掉
job.cancel()  # 取消作业，尽管作业已经被执行，也可以取消

from rq import job

job.Job.exists(my_id, redis_conn)  # 返回是否存在该id的作业
my_job = job.Job(my_id, redis_conn)  #创建该作业id的实例