消息队列 kafka、rabbitmq、rocketmq、activemq概述

什么是消息队列？
    消息队列是一种在应用程序之间传递消息的通信模式。它基于生产者-消费者模型，其中生产者将消息发送到队列，而消费者从队列中接收和处理消息。消息队列充当了生产者和消费者之间的中介，使得两者可以独立地进行通信，而不需要直接的点对点连接。

为什使用消息队列？
    消息队列的作用主要包括以下几个方面：
    - 异步通信：
        消息队列可以实现异步通信，生产者将消息发送到队列后即可继续执行，而不需要等待消费者的响应。这样可以提高系统的并发性和响应性能。
    - 解耦应用：
        通过引入消息队列，生产者和消费者之间的耦合度降低。生产者只需要将消息发送到队列，而不需要直接知道消费者的存在。消费者可以根据自身需求从队列中接收消息，而不需要关心消息的来源。
    - 削峰填谷：
        消息队列可以平衡系统的负载，当生产者的消息产生速度超过消费者的处理速度时，消息队列可以起到缓冲的作用，避免系统过载。而当消费者的处理能力增强时，可以从队列中快速消费积压的消息。

    - 可靠性传输：
        消息队列通常具有持久化机制，可以将消息存储在持久化存储介质中，以防止数据丢失。即使在系统故障或重启后，消息仍然可用。

    - 扩展性和灵活性：
        通过引入消息队列，可以方便地扩展和调整系统的各个组件。可以增加或减少生产者和消费者的数量，而不会对整个系统造成影响。

    总之，消息队列提供了一种可靠、高效、解耦的通信方式，可以在分布式系统中实现异步通信、削峰填谷和解耦应用等功能，提高系统的性能、可靠性和可扩展性。

1、Kafka

    - 官网地址：
        https://kafka.apache.org/ 
    - 工作原理：
        Kafka是一个分布式流处理平台，通过将消息分成多个分区并将其存储在不同的服务器上来实现高吞吐量。生产者发布消息到指定的主题，消费者订阅主题并按需消费消息。
    - 实现机制：
        Kafka使用分布式提交日志（distributed commit log）来存储消息，使用ZooKeeper来管理集群的元数据，并使用多个副本来保证数据的可靠性和容错性。
    - 优缺点：
        Kafka的优点包括高吞吐量、可扩展性强、持久性存储、消息保留时间长等。缺点是相对复杂，依赖ZooKeeper管理集群，对于简单应用场景可能过于重量级。
    - 配置参数：
        1. broker.id：每个Kafka Broker的唯一标识。
        2. listeners：Kafka Broker监听的地址和端口。
        3. log.dirs：Kafka Broker存储日志文件的目录。
        4. zookeeper.connect：ZooKeeper集群的连接地址。
        5. num.partitions：主题的分区数。
        6. default.replication.factor：主题的默认副本因子。
        7. log.retention.hours：消息日志文件保留的小时数。
        8. offset.topic.replication.factor：偏移量主题的副本因子。
        9. auto.create.topics.enable：是否允许自动创建主题。
        10. group.initial.rebalance.delay.ms：消费者组初始重平衡延迟的毫秒数。
    - 防止重复消费：
        Kafka使用偏移量（offset）来跟踪消费者在分区中的位置。消费者每次消费一条消息后，会将偏移量提交到Kafka。
        Kafka会记录每个消费者组在每个分区上的偏移量，并在重启后从上次提交的偏移量处继续消费。这样可以确保消息不会被重复消费。
    - 顺序消费：
         Kafka通过将消息分区存储在不同的分区中来实现消息的顺序消费。每个分区中的消息按照其写入的顺序进行排序，并通过偏移量（offset）来标识消息的顺序。消费者可以按照指定的顺序从每个分区中读取消息，从而保证消息按顺序消费。

2、RabbitMQ

    - 官网地址：
        https://www.rabbitmq.com/ 
    - 工作原理：
        RabbitMQ是一个开源的消息队列系统，基于AMQP协议。生产者将消息发送到交换机，交换机根据路由规则将消息发送到相应队列，消费者从队列接收和处理消息。
    - 实现机制：
        RabbitMQ使用消息确认机制确保消息的可靠传输，支持多种消息传递模式，如点对点、发布-订阅和请求-响应模式。
    - 优缺点：
        RabbitMQ的优点包括易用性、灵活性高、可靠性强等。缺点是性能相对较低，吞吐量略低于Kafka和RocketMQ。
    - 配置参数：
        1. default_user：默认的用户名。
        2. default_pass：默认的密码。
        3. default_vhost：默认的虚拟主机。
        4. default_exchange_type：默认的交换机类型。
        5. default_queue_mode：默认的队列模式。
        6. log_levels：日志级别。
        7. tcp_listen_options：TCP监听选项。
        8. disk_free_limit：磁盘剩余空间的限制。
        9. heartbeat_timeout：心跳超时时间。
        10. frame_max：AMQP帧的最大大小。
    - 防止重复消费：
        RabbitMQ通过消息确认机制来确保消息不会被重复消费。消费者在处理完一条消息后，会向RabbitMQ发送确认消息，告知RabbitMQ该消息已经被成功消费。只有当RabbitMQ收到确认消息后，才会将消息标记为已消费，避免重复消费。
    - 顺序消费：
        RabbitMQ本身不提供消息的有序消费保证。如果需要保证消息的顺序消费，可以通过将消息发送到同一个队列中，并使用单个消费者来消费队列中的消息。这样消费者就可以按照消息的顺序一个接一个地消费。

3、RocketMQ

    - 官网地址：
        http://rocketmq.apache.org/ 
    - 工作原理：
        RocketMQ是一个分布式消息队列系统，基于发布-订阅模式。消息分为多个主题和队列，使用多个Broker存储和传输消息，实现高吞吐量和低延迟。
    - 实现机制：
        RocketMQ使用主题和队列来实现消息的有序消费。消费者可以按指定顺序消费同一队列中的消息，不同队列之间的消息消费顺序无法保证。
    - 优缺点：
        RocketMQ的优点包括高吞吐量、低延迟、可靠性强等。缺点是相对复杂，对于简单应用场景可能过于重量级。
    - 配置参数：
        1. namesrvAddr：NameServer的地址。
        2. brokerIP1：Broker的IP地址。
        3. brokerName：Broker的名称。
        4. brokerClusterName：Broker集群的名称。
        5. flushDiskType：刷盘方式。
        6. messageDelayLevel：消息延迟级别。
        7. maxMessageSize：消息的最大大小。
        8. deleteWhen：消息存储时间达到一定阈值后的删除策略。
        9. fileReservedTime：消息存储文件的保留时间。
        10. brokerRole：Broker的角色。
    - 防止重复消费：
        RocketMQ使用消费进度（Consumer Offset）来跟踪消费者在队列中的位置。消费者会定期将消费进度提交给RocketMQ。RocketMQ会记录每个消费者在每个队列上的消费进度，并在重启后从上次提交的消费进度处继续消费。这样可以确保消息不会被重复消费。
    - 顺序消费：
        RocketMQ通过将消息分区存储在不同的队列中来实现消息的顺序消费。每个队列中的消息按照其写入的顺序进行排序，并通过偏移量（offset）来标识消息的顺序。消费者可以按照指定的顺序从每个队列中读取消息，从而保证消息按顺序消费。

4、ActiveMQ

    - 官网地址：
        https://activemq.apache.org/
    - 工作原理：
        ActiveMQ是一个开源的消息中间件，基于JMS（Java消息服务）规范。生产者将消息发送到队列或主题，消费者从中接收和处理消息。
    - 实现机制：
        ActiveMQ使用持久化存储确保消息的可靠传输，并支持多种传输协议，如TCP、UDP和HTTP等。
    - 优缺点：
        ActiveMQ的优点包括易用性、可靠性强、支持多种传输协议等。缺点是性能相对较低，吞吐量略低于Kafka和RocketMQ。
    - 配置参数：
        1. brokerName：Broker的名称。
        2. persistenceAdapter：持久化适配器。
        3. dataDirectory：数据目录。
        4. transportConnectors：传输连接器。
        5. maxConnections：最大连接数。
        6. maxFrameSize：最大帧大小。
        7. useJmx：是否启用JMX。
        8. schedulerSupport：是否支持定时任务。
        9. deleteAllMessagesOnStartup：启动时是否删除所有消息。
        10. enableStatistics：是否启用统计信息。
    - 防止重复消费：
        ActiveMQ通过持久化订阅（Durable Subscription）来确保消息不会被重复消费。消费者可以创建一个持久化订阅，这样即使消费者断开连接，下次重新连接时也可以继续接收之前未消费的消息。ActiveMQ会跟踪每个持久化订阅的消费状态，确保消息不会被重复发送给同一个订阅。
    - 顺序消费：
        ActiveMQ本身不提供消息的有序消费保证。如果需要保证消息的顺序消费，可以通过将消息发送到同一个队列中，并使用单个消费者来消费队列中的消息。这样消费者就可以按照消息的顺序一个接一个地消费。

        MQ选型对比：

为保证消息按顺序消费、防止数据丢失、数据持久化和保证高可用性，这些消息队列系统采取以下措施：

    - 按顺序消费：通过将消息分区或分配到特定队列，消费者可以按顺序消费同一分区/队列中的消息。
    - 防止数据丢失：使用消息确认机制，生产者发送消息后等待确认，确保消息成功写入队列。
    - 数据持久化：消息队列系统将消息持久化存储在磁盘上，以防止数据丢失。即使在系统故障或重启后，消息仍然可用。
    - 保证高可用性：通过使用多个副本和分布式架构，这些消息队列系统实现了高可用性，即使某个节点或服务器故障，仍能保持正常运行。

参考博客：
    https://cloud.tencent.com/developer/article/2355706?areaId=106001
    https://cloud.tencent.com/developer/article/1408126
    https://www.cnblogs.com/z-dk/p/14459488.html
    https://blog.csdn.net/qq_35599414/article/details/110096278