Python Web编程,Django框架 -- (9) 缓存 Redis RabbitMQ 使用

  1. Rabbitmq 内部结构:
image.png
  • Message

消息,消息是不具名的,由消息头和消息体组成,消息体是不透明的,而消息头是由一些列的可选属性组成,包括 routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出消息可能需要持久性存储)等

  • Publisher

消息的生产者,也是一个向交换器发布消息的客户端应用程序。

  • Exchange

交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。

  • Binding

绑定,用于消息队列和交换器之间的关联,一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。

  • Queue

消息队列,用来保存消息直到发送给消费者。这是消息的容器,也是消息的终点,一个消息可以投入一个或多个队列,消息一直在队列里面,等待消费者连接到这个队列将其取走。

  • Connection

网络连接, TCP 连接

  • Channel

信道,多路复用来南街中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接,AMQP 命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。因为对于操作系统来说建立和销毁TCP都是非常昂贵的开销,所以引入信道的概念,在一个TCP连接内建立多个信道,以复用一条TCP连接。

  • Consumer

消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。

  • Virtual Host

虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同身份认证和加密环境的独立服务器域。每个vhost本质上就是一个mini版的rabbitmq服务器,拥有自己的队列、交换器、绑定和权限机制。 vhost 是AMQP概念的基础,必须在连接时指定,RabbitMQ默认的vhost是 /。

  • Broker

代理人,飙戏消息队列服务器实体。

  1. RabbitMQ的消息路由,常用架构:
image.png
  • 1 和 2 为 队列模式,3, 4 为 发布-订阅模式。
  1. Python操作 Rabbitmq
  • pip install pika

  • 队列方式:

  • 生产者代码:

# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数  virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
# 声明消息队列, 建议在生产者与消费者两边同时声明,如果不存在会自动创建,如果已存在,则直接使用
# durable=True  表示队列持久化
channel.queue_declare(queue='direct_demo', durable=False)
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
channel.basic_publish(exchange='', routing_key='direct_demo',
                      body='again')
# 关闭与 rabbitmq server 的连接
connection.close()
  • 消费者代码:
# 消费者代码
import pika
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.queue_declare(queue='direct_demo', durable=False)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
    # 手动发送确认消息,当生产者需要消费者进行消息确认时
    # ch.basic_ack(delivery=method.delivery_tag)
    # 实现如何处理消息
    print(body.decode())
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume('direct_demo', on_message_callback=callback)
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()
  • 分发者模式:一个生产者,多个消费者

生产者 代码不变,只是改变了 队列 和 消息 持久化参数。

消费者会以轮询的方式进行消费,代码也可以不变,不过为了能看到轮询的效果,增加了 sleep 时间。另外 增加 prefetch_count 参数,当消费者出现问题或者消费比较慢时,则不再向该消费者发送消息。

# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数  virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
# 声明消息队列, 建议在生产者与消费者两边同时声明,如果不存在会自动创建,如果已存在,则直接使用
# durable=True  表示队列持久化
channel.queue_declare(queue='task_queue', durable=True)
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
for i in range(6):
    message = f'send message to taskqueue: {i}'
    channel.basic_publish(exchange='',
                          routing_key='task_queue',
                          body=message,
                          properties=pika.BasicProperties(
                              delivery_mode=2,   # 消息持久化
                          ))
# 关闭与 rabbitmq server 的连接
connection.close()
# 消费者代码
import pika
import time
import random
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.queue_declare(queue='task_queue', durable=True)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
    rand_int = random.randint(0, 6)
    print(rand_int)
    time.sleep(rand_int)
    # 实现如何处理消息
    print(body.decode())
    ch.basic_ack(delivery_tag=method.delivery_tag)
# 如果消费者的channel上未确认的消息数达到了prefectch_count 数,则不想该消费者发送消息
channel.basic_qos(prefetch_count=1)
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume('task_queue', on_message_callback=callback)
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()
  • 并行消费模式。 发布-订阅模式,需要增加 exchange

生产者代码:声明交换机,并且交换机类型为 fanout,不需要声明 queue

消费者代码:声明交换机,并且交换机类型为 fanout,声明queue,名称为空,为产生默认名称,并且设置参数 exclusive,表示当断开连接时则删除queue。最后与exchange一起绑定到channel

注意: 消费者如果想消费,必须在 生产者消费产生内容之前(exchange不保存消息)就绑定到交换机,否则 消息不会发送到这个队列。

# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数  virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
channel.exchange_declare(exchange='logs',
                         exchange_type='fanout')
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
for i in range(6):
    message = f'send message to taskqueue: {i}'
    channel.basic_publish(exchange='logs',
                          routing_key='',
                          body=message,
                          )
# 关闭与 rabbitmq server 的连接
connection.close()
# 消费者代码
import pika
import time
import random
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.exchange_declare(exchange='logs',
                         exchange_type='fanout'
                         )
# 声明消息队列,这里没有指定 queue 的名称,会自动生成一个名称。
# exclusive,当与消费者断开连接的时候,队列被立即删除
result = channel.queue_declare(queue='',
                               exclusive=True)
queue_name = result.method.queue
# 通过 bind 实现exchange,将message 消息发送到指定的queue
channel.queue_bind(exchange='logs',
                   queue=queue_name)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
    rand_int = random.randint(0, 6)
    print(rand_int)
    time.sleep(rand_int)
    # 实现如何处理消息
    print(body.decode())
# 如果消费者的channel上未确认的消息数达到了prefectch_count 数,则不想该消费者发送消息
channel.basic_qos(prefetch_count=1)
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume(queue=queue_name, on_message_callback=callback, auto_ack=True)  # 消费者自动进行确认,不需要手动确认。
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()

你可能感兴趣的:(Python Web编程,Django框架 -- (9) 缓存 Redis RabbitMQ 使用)