高并发架构设计原则-消息队列

消息队列作用

解耦、消峰、异步

解耦

有ABCD四个系统,A系统有一条数据需要传给BCD,A系统不仅要关心数据发送还要处理数据发送BCD其中产生的异常,如B挂掉了怎么办,A是否重传?如果使用消息队列,A系统只负责发送消息到消息队列,BCD消费消息队列中的消息即可,A系统不关心消息发给谁了,谁消费失败了等等问题。

消峰

类似于地铁排队?(暴露了。。。),10000万个并发请求直接到服务器,服务器最大处理能力2000个每秒,那样极限情况下会有8000个请求在等待征用系统资源,导致请求超时系统资源紧张、特别是后面有mysql数据库等等问题。如果采用消息队列,8000个请求在消息队列里,服务按照最大处理能力来消费队列就可以。

异步

有ABCD四个系统,A系统接收到客户请求把消息发送给消息队列,客户得到一个即时响应:“消息已发送”的响应。后续流程交给BCD去队列处理。这样客户端街道的响应是同步响应,但实际的数据处理是异步的。大大提高了客户体验和见笑了前置服务器的压力。还有种情况是A发送请求到消息队列后,BCD的响应可以是并行的,这样响应时间会大大降低,提高了性能。

 

Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点?

特性 ActiveMQ RabbitMQ RocketMQ Kafka
单机吞吐量 万级,比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级,支撑高吞吐 10 万级,高吞吐,一般配合大数据类的系统来进行实时数据计算、日志采集等场景
topic 数量对吞吐量的影响     topic 可以达到几百/几千的级别,吞吐量会有较小幅度的下降,这是 RocketMQ 的一大优势,在同等机器下,可以支撑大量的 topic topic 从几十到几百个时候,吞吐量会大幅度下降,在同等机器下,Kafka 尽量保证 topic 数量不要过多,如果要支撑大规模的 topic,需要增加更多的机器资源
时效性 ms 级 微秒级,这是 RabbitMQ 的一大特点,延迟最低 ms 级 延迟在 ms 级以内
可用性 高,基于主从架构实现高可用 同 ActiveMQ 非常高,分布式架构 非常高,分布式,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用
消息可靠性 有较低的概率丢失数据 基本不丢 经过参数优化配置,可以做到 0 丢失 同 RocketMQ
功能支持 MQ 领域的功能极其完备 基于 erlang 开发,并发能力很强,性能极好,延时很低 MQ 功能较为完善,还是分布式的,扩展性好 功能较为简单,主要支持简单的 MQ 功能,在大数据领域的实时计算以及日志采集被大规模使用

你可能感兴趣的:(系统架构,性能测试)