异步方案celery+rabbitmq小结(python、django)

实际开发过程中遇到的问题:
在开发网页的过程中,如果遇到网络请求这样的耗时操作,将会给用户在使用网页的时候带来不好的体验效果。比如说在注册账户的时候,用户点击了请求手机验证码的操作,但由于网络请求的延时的问题,导致网站的请求界面没有任何的反应,如倒计时提示60秒后可以再次请求一次验证码,给用户造成自己没有点击成功的错觉等不好的用户体验效果。

如何解决这样的问题呢?
异步发送短信
将发送短信和界面响应的分开执行,开启一个子进程来执行发送短信的任务。

上面的方案又存在什么样的缺陷呢?
假如现在用户注册的需要执行的异步任务发生了变化,比如既需要发送短信又需要邮箱验证,那么我们上面的业务逻辑就需要进行修改,为了避免这样的情况,可以采用异步任务队列来实现异步任务。

在这里采用celery+rabbitmq来实现异步任务队列。

首先来认识一下celery是什么?

celery是由python开发的,基于分布式消息传递系统的异步任务队列。

由于celery是基于分布式消息传递系统的,所以,它自身没有实现消息队列,而是需要依赖分布式消息队列来提供消息传递的服务,在celery中把这种提供消息传递服务的程序叫做代理,celery支持的代理有rabbitmq、redis、amazon SQS等等

celery每分钟可以处理数以百万计的任务,主要特点是简单、灵活、快速、可靠
简单:熟悉celery的工作流程之后,配置使用简单
高可用:当任务执行失败或执行任务的过程中发生连接中断,celery会自动尝试重新执行任务
快速:一个单进程的celery每分钟可处理上百万个任务
灵活:celery各个组件几乎都可以被扩展及自定制

celery架构&工作原理
从c/s架构的角度来看,celery分为客户端和服务端
celery客户端主要负责发送任务到任务队列里。
celery服务端主要由以下三部分构成: 消息中间件(Broker)、任务执行单元(Worker)、结果存储部件(Backend)
异步方案celery+rabbitmq小结(python、django)_第1张图片

接下来来认识一下rabbitmq

rabbitmq是一个消息中间件、消息队列,它主要负责接收并转发消息。
异步方案celery+rabbitmq小结(python、django)_第2张图片

这样看上去,celery和rabbitmq似乎都可以实现我们的异步方案,那么两者之间又有着怎么样的联系呢?

从功能上来看
异步方案celery+rabbitmq小结(python、django)_第3张图片

从组成上来看
异步方案celery+rabbitmq小结(python、django)_第4张图片

从使用角度来说
异步方案celery+rabbitmq小结(python、django)_第5张图片

因此,我们采用celery+rabbitmq代理来实现我们的异步方案

接下来,来看看具体的实现是怎么做的

1、安装celery

pip install -U celery

2、创建celery实例
定义celery包, 创建main.py
异步方案celery+rabbitmq小结(python、django)_第6张图片
异步方案celery+rabbitmq小结(python、django)_第7张图片
3、加载celery配置
异步方案celery+rabbitmq小结(python、django)_第8张图片
异步方案celery+rabbitmq小结(python、django)_第9张图片
4、定义celery任务
异步方案celery+rabbitmq小结(python、django)_第10张图片
异步方案celery+rabbitmq小结(python、django)_第11张图片
5、注册celery任务
异步方案celery+rabbitmq小结(python、django)_第12张图片
6、启动celery worker服务
异步方案celery+rabbitmq小结(python、django)_第13张图片

你可能感兴趣的:(#,python进阶知识点,异步方案,celery,python,Django)