RabbitMQ 基础原理

---

消息中间件

目前主要的消息中间件软件有RabbitMQ、ActiveMQ、ZeroMQ和Apache Qpid，RabbitMQ是基于Erlang语言开发，ActiveMQ是基于Java开发，ZeroMQ是基于C++开发，Apache Qpid则有java和C++版本，消息中间件是一个在消息传输过程中保存消息的容器，然后消息中间件再将消息中继给目标即消费者使用，消息中间件的本质就是一个中间人，消息中间件的主要作用是根据目的提供路由并保证消息的可靠传递，如果发送消息是发现消费者不可用则消息中间件会保留改消息，直到可以成功传递为止(在超时期限之内)。

消息中间件的主要特点

• 采用异步处理方式
  消息发送者可以发送一个消息而无需等待响应，其将消息发送一条虚拟的通道或者队列上，消息接受者订阅或者是监听该通道，一条消息可以发给一个或多个接受者，这些接收者无需对消息发送者做出回应，即整个发送和接收过程是异步处理的
• 应用程序和应用程序调用关系为松耦合关系
  比如在线交易系统为了保证数据的最终一致性，在支付系统处理完成后会吧支付结果放在消息中间件里面通知订单系统修改订单支付状态，那么支付系统和订单系统都是通过中间件完成通讯的，他们就是松耦合的

消息中间件的主要模型

• 点对点模型
  点对点模型适用于消息生产者和消息消费者之间的点对点的通信，消息生产者将消息发送到由某个名称标示的一个特定的消费者，这个名字实际上对应于消息服务器的一个队列，在消息传递给消费者之前该消息被存储在这个队列当中，队列消息可以放在内存中也可以放在硬盘中做持久化，以保证消息服务在出现故障时仍然能够正常传递消息

  
  
  

  image.png
• 点对点模型的特性
  每个消息只适用于一个消费者，消费完成之后改消息被删除
  发送者和消费者之间没有时间依赖（在过期时间之内）
  接收者确认消息接收和处理成功
• 发布-订阅模型
  发布者/订阅者模式支持向一个特定的消息主题产生消息，0个或多个订阅者可能对该主题的消息感兴趣就进行订阅，在该模式下，发布者和订阅者彼此不知道对方，该模式就好比是匿名公告版，这种模式被概括为：多个消费者可以获得消息，在发布者和订阅者之间存在时间依赖性，发布者需要建立一个订阅(subscription)，以便消费者能都订阅，订阅者必须保持持续的活动链接状态，除非订阅者建立了持久订阅，在这种情况下，在订阅者为连接发布者的时候，发布者会将为发送给消费者的消息在消费者重新链接是重新发送给消费者。
• 发布-订阅模型的主要特性
  每个消息可以有多个订阅者
  客户端只有在订阅后才能接收到消息
  分为持久订阅和非持久订阅

---

消息中间件的应用场景

网站用户注册，注册成功之后发生一封邮件或确认短信给用户

本场景的消息中间件不保存数据，客户端消费后即从中间件删除消息

image.png

将日志集中收集并用于PV计算或用户行为分析等

本场景的中间件提供数据的临时保存，然后通过客户端进行有机制的获取，之后在从中间件删除消息

image.png

数据复制案例

• 将数据从源头复制到多个目的地，一般是要求顺序或者保证因果序列
• 用于夸机房的数据传输、搜索、离线数据计算等
  可以用于压力测试，先将测试数据写入到消息中间件，然后测试的时候将数据发送给后端测试系统，数据在消息中间件持久保存，消费完成之后不被删除
  
  

  image.png

延迟消息发送和暂存

• 把消息中间件当成可靠的消息暂存点

• 定时消息投递，比如模拟用户秒杀访问，进行系统性能压测

  
  
  

  image.png

消息广播

• 缓存数据同步更新

• 向应用推送数据，比如更新本地数据

  
  
  

  image.png

---

消息中间件的分类及常见术语

分类

• push
  推送消息模型，消息生产者将消息发送给消息中间件，消息中间件将消息推送给消息消费者，适用于订阅模式
• pull
  拉消息模型，消费者向消息中间件请求消息，消息中间件将消息发送给消息消费者，适用于点对点的模式，每间隔半小时或一小时拉取一次消息，此方式效率不是很高

常见术语

• Server(Broker)
  接受客户端（消费者）的连接，实现AMQP消息队列和路由功能的进程
• Virtual Host
  是一个虚拟概念，类似于权限控制组，一个virtual host里面可以有若干个exchange和queue，但是权限控制的最小力度是virtual host
• Exchange
  接受生产者发送的消息，并根据binding规则将消息路由给服务器中的队列，exchangetype决定了exchange路由消息的行为，例如在rabbitMQ中有direct、fanout和topic三种，即不同类型的exchange的行为是不一样的
• Message Queue
  消息队列，保存了还未被消费者消费的消息
• Message
  由header和body组成，其中header是由生产者添加的各种各样的属性的组合，包括Message是否被持久化、有哪个Message Queue接受、优先级是多少等等，而Body是真正要传输的数据
• BindingKey
  所谓绑定就是将一个特定的Exchange和一个特定的Queue绑定起来，绑定关键字成为BindingKey

Exchange的三种分分类

• direct exchange
  直接交互式处理路由键
  需要将一个队列绑定到交换机（exchange），并要求该消息与一个特定的路由键完全匹配，这是一个完整的匹配，如果一个队列绑定到该交换机上要求路由键“dog”，则只有标记为“dog”的消息才会被转发，即不会转发dog.xxx也不会转发dog.ooo只会转发dog
  
  

  image.png
  
  direct exchange 模式总结：任何发送到 Direct Exchange 的消息都会被转发到 RouteKey 中指定的 Queue
  1.一般情况可以使用rabbitMQ自带的Exchange：”"(该Exchange的名字为空字符串，下文称其为default Exchange)
  2.这种模式下不需要将Exchange进行任何绑定(binding)操作
  3.消息传递时需要一个“RouteKey”，可以简单的理解为要发送到的队列名字
  4.如果vhost中不存在RouteKey中指定的队列名，则该消息会被抛弃
• fanout exchange
  广播式路由键
  只需要简单将队列绑定到交换机上，一个发送到交换机的 消息就会被转发到与该减缓及绑定的所有队列上，很像子网广播，每台子网内的主机都获得了一份复制的数据，fanout交换机转发消息是最快的
  fanout exchange 总结：任何发送到 Fanout Exchange 的消息都会被转发到与该 Exchange 绑定 (Binding) 的所有 Queue 上
  1.可以理解为路由表的模式
  2.这种模式不需要RouteKey
  3.这种模式需要提前将Exchange与Queue进行绑定，一个Exchange可以绑定多个Queue，一个Queue可以同多个Exchange进行绑定
  4.如果接受到消息的Exchange没有与任何Queue绑定，则消息会被抛弃
• 主题式交换器
  通过消息的路由关键字和绑定关键字的模式匹配，将消息路由到被绑定的队列中，这种路由器类型可以被用来支持经典的发布/订阅消息传输模型–使用主题名字空间作为消息寻址模式，将消息传递给那些部分或者全部匹配主题模式的多个消费者，主题交换器类型的工作方式如下：绑定关键字用另个或多个标记构成，每一个标记之间用“.”字符分割，绑定关键字必须使用这种形式明确说明，并支持通配符，“”标示一个词组，“#”标示另个或多个词组，因此绑定关键字“.stock.#”匹配路由关键字”used.stock”和“error.stock.db”，但是不匹配”stock.db”，因为””标示一个词组即必须要有但是可以是任意词组
  
  

  image.png
  
  Topic exchange 总结：任何发送到 Topic Exchange 的消息都会被转发到所有关心 RouteKey 中指定话题的Queue 上
  1.这种模式较为复杂，简单来说，就是每个队列都有其关心的主题，所有的消息都带有一个“标题”(RouteKey)，Exchange会将消息转发到所有关注主题能与RouteKey模糊匹配的队列
  2.这种模式需要RouteKey，也许要提前绑定Exchange与Queue
  3.在进行绑定时，要提供一个该队列关心的主题，如“#.log.#”表示该队列关心所有涉及log的消息(一个RouteKey为”MQ.log.error”的消息会被转发到该队列)
  4.“#”表示0个或若干个关键字，“”表示一个关键字。如“log.*”能与“log.warn”匹配，无法与“log.warn.timeout”匹配；但是“log.#”能与上述两者匹配
  5.同样，如果Exchange没有发现能够与RouteKey匹配的Queue，则会抛弃此消息