- Rabbitmq 内部结构:
- Message
消息,消息是不具名的,由消息头和消息体组成,消息体是不透明的,而消息头是由一些列的可选属性组成,包括 routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出消息可能需要持久性存储)等
- Publisher
消息的生产者,也是一个向交换器发布消息的客户端应用程序。
- Exchange
交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
- Binding
绑定,用于消息队列和交换器之间的关联,一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。
- Queue
消息队列,用来保存消息直到发送给消费者。这是消息的容器,也是消息的终点,一个消息可以投入一个或多个队列,消息一直在队列里面,等待消费者连接到这个队列将其取走。
- Connection
网络连接, TCP 连接
- Channel
信道,多路复用来南街中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接,AMQP 命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。因为对于操作系统来说建立和销毁TCP都是非常昂贵的开销,所以引入信道的概念,在一个TCP连接内建立多个信道,以复用一条TCP连接。
- Consumer
消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。
- Virtual Host
虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同身份认证和加密环境的独立服务器域。每个vhost本质上就是一个mini版的rabbitmq服务器,拥有自己的队列、交换器、绑定和权限机制。 vhost 是AMQP概念的基础,必须在连接时指定,RabbitMQ默认的vhost是 /。
- Broker
代理人,飙戏消息队列服务器实体。
- RabbitMQ的消息路由,常用架构:
- 1 和 2 为 队列模式,3, 4 为 发布-订阅模式。
- Python操作 Rabbitmq
pip install pika
队列方式:
生产者代码:
# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数 virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
port=5672,
virtual_host='/',
credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
# 声明消息队列, 建议在生产者与消费者两边同时声明,如果不存在会自动创建,如果已存在,则直接使用
# durable=True 表示队列持久化
channel.queue_declare(queue='direct_demo', durable=False)
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
channel.basic_publish(exchange='', routing_key='direct_demo',
body='again')
# 关闭与 rabbitmq server 的连接
connection.close()
- 消费者代码:
# 消费者代码
import pika
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
port=5672,
virtual_host='/',
credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.queue_declare(queue='direct_demo', durable=False)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
# 手动发送确认消息,当生产者需要消费者进行消息确认时
# ch.basic_ack(delivery=method.delivery_tag)
# 实现如何处理消息
print(body.decode())
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume('direct_demo', on_message_callback=callback)
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()
- 分发者模式:一个生产者,多个消费者
生产者 代码不变,只是改变了 队列 和 消息 持久化参数。
消费者会以轮询的方式进行消费,代码也可以不变,不过为了能看到轮询的效果,增加了 sleep 时间。另外 增加 prefetch_count 参数,当消费者出现问题或者消费比较慢时,则不再向该消费者发送消息。
# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数 virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
port=5672,
virtual_host='/',
credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
# 声明消息队列, 建议在生产者与消费者两边同时声明,如果不存在会自动创建,如果已存在,则直接使用
# durable=True 表示队列持久化
channel.queue_declare(queue='task_queue', durable=True)
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
for i in range(6):
message = f'send message to taskqueue: {i}'
channel.basic_publish(exchange='',
routing_key='task_queue',
body=message,
properties=pika.BasicProperties(
delivery_mode=2, # 消息持久化
))
# 关闭与 rabbitmq server 的连接
connection.close()
# 消费者代码
import pika
import time
import random
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
port=5672,
virtual_host='/',
credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.queue_declare(queue='task_queue', durable=True)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
rand_int = random.randint(0, 6)
print(rand_int)
time.sleep(rand_int)
# 实现如何处理消息
print(body.decode())
ch.basic_ack(delivery_tag=method.delivery_tag)
# 如果消费者的channel上未确认的消息数达到了prefectch_count 数,则不想该消费者发送消息
channel.basic_qos(prefetch_count=1)
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume('task_queue', on_message_callback=callback)
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()
- 并行消费模式。 发布-订阅模式,需要增加 exchange
生产者代码:声明交换机,并且交换机类型为 fanout,不需要声明 queue
消费者代码:声明交换机,并且交换机类型为 fanout,声明queue,名称为空,为产生默认名称,并且设置参数 exclusive,表示当断开连接时则删除queue。最后与exchange一起绑定到channel
注意: 消费者如果想消费,必须在 生产者消费产生内容之前(exchange不保存消息)就绑定到交换机,否则 消息不会发送到这个队列。
# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数 virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
port=5672,
virtual_host='/',
credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
channel.exchange_declare(exchange='logs',
exchange_type='fanout')
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
for i in range(6):
message = f'send message to taskqueue: {i}'
channel.basic_publish(exchange='logs',
routing_key='',
body=message,
)
# 关闭与 rabbitmq server 的连接
connection.close()
# 消费者代码
import pika
import time
import random
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
port=5672,
virtual_host='/',
credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.exchange_declare(exchange='logs',
exchange_type='fanout'
)
# 声明消息队列,这里没有指定 queue 的名称,会自动生成一个名称。
# exclusive,当与消费者断开连接的时候,队列被立即删除
result = channel.queue_declare(queue='',
exclusive=True)
queue_name = result.method.queue
# 通过 bind 实现exchange,将message 消息发送到指定的queue
channel.queue_bind(exchange='logs',
queue=queue_name)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
rand_int = random.randint(0, 6)
print(rand_int)
time.sleep(rand_int)
# 实现如何处理消息
print(body.decode())
# 如果消费者的channel上未确认的消息数达到了prefectch_count 数,则不想该消费者发送消息
channel.basic_qos(prefetch_count=1)
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume(queue=queue_name, on_message_callback=callback, auto_ack=True) # 消费者自动进行确认,不需要手动确认。
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()