消息中间件和AMQP

消息中间件也叫消息代理,是专门用来处理消息的代理组件,消息代理从消息生产者那里接收消息,然后按规则分发消息到消息队列,消息消费者从队列获取消息并确认消息处理。

消息中间件隔离了消息生产者和消费消费者,使它们可以异步发送消息和接受消息。使用了消息中间件的软件架构我们称为面向消息的架构。

面向消息的架构可以带来一些显著的好处:

  • 方便异构,生产者和消费者可以用不同的技术手段实现,只要遵从消息处理规则。所以有很好的灵活性和扩展性。
  • 方便伸缩,可以同时有多个生产者或多个消费者并行工作,按消息处理能力可以自由配置生产者和消费者的个数,同时生产者和消费者可以处于不同的节点,是可分布的。
  • 弹性容错增强,生产者和消费者可以随时加入或离开,不会影响整个系统的运行。如果有某个消费者出错的,只要重启或交由其他节点即可,不会导致数据丢失。
  • 流量管理和批处理能力,消息队列的引入带来了一个消息缓冲区,可以抵抗异常流量和提高处理效率。

当然,引入消息中间件也会带来一些问题,实现上也增加了难度,需要权衡考虑,比如会增加资源消耗,一些情况下会导致消息重复处理,消息排序也会带来问题,处理代码会冗余,还可能带来数据不一致,还会带来一定的延迟。

为了更好的使用消息中间件,需要一个消息处理模型,这就是被引入的AMQP模型 ,
AMQP模型对消息传递过程做了详细的定义:发布者发布消息给交换机(注意:不是硬件交换机的概念),交换机依据绑定分发消息给队列们,消费者从对应的队列提取消息。

AMQP(Advanced Message Queuing Protocol)是一种消息队列协议标准,为面向消息的中间件设计。 基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同的开发语言等条件的限制。

在AMQP标准中,三个主要功能模块(交换机 exchange,消息队列 message queue,绑定 binding)连接成一个处理链完成预期的功能:

  • “交换机(exchange)”接收发布应用程序发送的消息,并根据一定的规则将这些消息路由到“消息队列”。
  • “消息队列(message queue)”存储消息,直到这些消息被消费者安全处理完为止。
  • “绑定(binding)”定义了“交换机”和“消息队列”之间的关联,提供路由规则。

AMQP定义了消息的格式,含有消息属性和消息内容,消息属性中有些是针对消息代理的,不过大部分是针对上层应用的。另外,由于网络通讯是不可靠的,消息代理支持消费者的消息确认,如果消息确认被使用,消息代理只有收到确认才会清掉队列中的消息。对于不能依据绑定分发的消息,消息代理有几种可选的方式,例如返回给发布者,直接丢弃,或扔入一个缺省队列。发布者可以在发布消息的时候指定这些处理方式。

AMQP详细定义了交换机类型,消息交换算法依赖于交换机类型和交换规则,AMQP里有一下几种交换类型:

  • 直接交换(Direct Exchange):消息分发到特定路由关键字的队列。
  • 扩散交换(Fanout Exchange):消息分发到所有绑定的队列,路由关键字被忽略,适合消息广播 。
  • 主题交换(Topic Exchange):通过支持匹配规则的路由关键字匹配,消息分发到一个或多个消息队列。
  • 头部交换(Headers Exchange):通过消息头部属性匹配(路由关键字被忽略),消息分发到一个或多个消息队列。这种方式比较灵活,但每个消息会有额外的匹配属性。

使用这个模型我们可以很容易的模拟出存储转发队列和主题订阅这些典型的应用场景。

AMQP可以支持一些典型的消息中间件应用

  • 点对点连接 : 单对单
  • 存储转发 : 多对单,多个消息发送者,单个消息接收者
  • 分布式事务 : 多对多,多个消息发送者,多个消息接收者
  • 发布订阅 : 多对多
  • 基于内容的路由: 多对多
  • 文件传输队列 : 多对多

AMQP实现:
RabbitMQ 很好的支持了AMQP模型标准,也是非常好用的消息中间件,可以用来实践AMQP模型。

参考资料:
https://www.rabbitmq.com/tutorials/amqp-concepts.html

你可能感兴趣的:(消息中间件和AMQP)