rocketmq 原理&最佳实战&附代码 新2018.12

 

 

1.NameServer集群

     提供轻量级的服务发现和路由。 每个 NameServer 记录完整的路由信息，提供等效的读写服务，并支持快速存储扩展

2.Broker集群

     每个Broker启动时都会将自己注册到NameServer上，其通过提供轻量级的 Topic 和 Queue 机制来处理消息存储,同时支持推（push）和拉（pull）模式以及主从结构的容错机制，Broker Master1 和 Broker Slave1 是主从结构，它们之间会进行数据同步，即 Date Sync。一个Master1可以对应多个Slave1，但是一个Slave1只能对应一个Master1。

3.Producer集群

     产生消息的实例，拥有相同 Producer Group 的 Producer 组成一个集群。

4.Consumer集群

    接收消息进行消费的实例，拥有相同 Consumer Group 的Consumer 组成一个集群

 

Producer 与 NameServer 集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 获取 Topic 路由信息，并向提供 Topic 服务的 Broker Master 建立长连接，且定时向 Broker 发送心跳。Producer 只能将消息发送到 Broker master。

Consumer 则不一样，它同时和提供 Topic 服务的 Master 和 Slave建立长连接，既可以从 Broker Master 订阅消息，也可以从 Broker Slave 订阅消息。

 

 

组成

https://github.com/apache/rocketmq-externals/tree/master/rocketmq-docker 

在官方git下查看安装文档，这里我们选择使用docker方式.

(如果你不想使用docker,那就不要继续往下看了 右侧  从源码角度启动rocketmq)。

$ git clone https://github.com/apache/rocketmq-externals.git
......
Resolving deltas: 100% (4143/4143), done.
$ cd rocketmq-externals/rocketmq-docker/4.3.0
$ sh play-docker.sh
Sending build context to Docker daemon   12.8kB
Step 1/10 : FROM centos:7
......
$ docker images
REPOSITORY                      TAG                 IMAGE ID            CREATED             SIZE
apache/rocketmq-broker          4.3.0               0741f6251b82        20 seconds ago      380MB
apache/rocketmq-namesrv         4.3.0               2cf4e87c274c        22 seconds ago      380MB
apache/rocketmq-base            4.3.0               a161d2692b67        25 seconds ago      380MB
$ docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                                NAMES
7cba766fa7b3        apache/rocketmq-broker:4.3.0    "/bin/sh -c 'cd ${RO鈥?"   6 minutes ago       Up 6 minutes        0.0.0.0:10909->10909/tcp, 0.0.0.0:10911->10911/tcp   rmqbroker
052284e86012        apache/rocketmq-namesrv:4.3.0   "/bin/sh -c 'cd ${RO鈥?"   6 minutes ago       Up 6 minutes        0.0.0.0:9876->9876/tcp                               rmqnamesrv

 生成了三个镜像，其中两个服务NameServer 和 Broker 都是必须运行的。在生成今镜像的同时已经自动启动了。是不是非常简单

1. NameServer服务 默认端口：9876

2. Broker服务 两个端口都要开放：10909(Vip通道) 10911(默认通道)

 两个服务都启动后，这里要确认Broker是否已经注册到了NameServer上。

 

 

 

开始测试

  生产者和消费者在使用时都只需要连接到NameServer上，NameServer会自动路由。

  pom.xml

4.0.0-incubating

    org.apache.rocketmq
    rocketmq-client
    ${rocketmq.version}


    org.apache.rocketmq
    rocketmq-common
    ${rocketmq.version}

 

  生产者 

package com.wangwenjian.cloud.rocketmq;

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;

public class Producer {

    public static void main(String[] args) throws Exception{
        /**
         * 一个应用创建一个Producer，由应用来维护此对象，可以设置为全局对象或者单例

         * 注意：ProducerGroupName需要由应用来保证唯一

         * ProducerGroup这个概念发送普通的消息时，作用不大，但是发送分布式事务消息时，比较关键，
         * 因为服务器会回查这个Group下的任意一个Producer
         */
        DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
        producer.setNamesrvAddr("127.0.0.1:9876");

        producer.setInstanceName("Producer");
        //不使用VIP通道(10909端口), 使用(10911端口)
        producer.setVipChannelEnabled(false);


        /**
         * Producer对象在使用之前必须要调用start初始化，初始化一次即可

         * 一个Producer对象可以发送多个message
         * 注意：切记不可以在每次发送消息时，都调用start方法
         */
        producer.start();

        
         try {

             /**
              *  
              * 1。 Topic 是一种消息的逻辑分类，比如说你有订单类的消息，也有库存类的消息，就需要进行分类，
              *  一个是订单 Topic 存放订单相关的消息，一个是库存 Topic 存储库存相关的消息
              *
              * 2。 Tag 标签可以被认为是对 Topic 进一步细化。一般在相同业务模块中通过引入标签来标记不同用途的消息。
              *
              * 3。 剩余就是键值对，一个 key 对应一个消息 body。
              */
             Message msg = new Message("dingdantopic",// topic
                         "TagA",// tag
                         "OrderID001",// key
                         ("Hello MetaQ").getBytes());// body
             
             /**
              * 注意：send方法是同步调用，只要不抛异常就标识成功。但是发送成功也可会有多种状态，
              * 例如消息写入Master成功，但是Slave不成功，这种情况消息属于成功，但是对于个别应用如果对消息可靠性要求极高，
              * 需要对这种情况做处理。另外，消息可能会存在发送失败的情况，失败重试由应用来处理。
              */
             SendResult sendResult = producer.send(msg);
             
             System.out.println(sendResult);
             
                 
         } catch (Exception e) {
             e.printStackTrace();
         }

        /**
         * 应用退出时，要调用shutdown来清理资源，关闭网络连接，从MetaQ服务器上注销自己
         * 注意：我们建议应用在JBOSS、Tomcat等容器的退出钩子里调用shutdown方法
         */
        producer.shutdown();
    }
}

  消费者 

package com.wangwenjian.cloud.rocketmq;

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.common.message.MessageExt;
import java.util.List;

public class Consumer {

    /**
     * 当前例子是PushConsumer用法，使用方式给用户感觉是消息从RocketMQ服务器推到了应用客户端。

     * 但是实际PushConsumer内部是使用长轮询Pull方式从MetaQ服务器拉消息，然后再回调用户Listener方法

     */
    public static void main(String[] args) throws Exception {
        /**
         * 一个应用创建一个Consumer，由应用来维护此对象，可以设置为全局对象或者单例

         * 注意：ConsumerGroupName需要由应用来保证唯一
         */
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroupName");
        /**
         * 设置NameServer地址,此处应改为实际NameServer地址，多个地址之间用；分隔
         * NameServer的地址必须有，但是也可以通过环境变量的方式设置，不一定非得写死在代码里
         */
        consumer.setNamesrvAddr("192.168.56.101:9876");

        // instancename 设置与否不影响
        // producer.setInstanceName("Consumber");
        //不使用VIP通道(10909端口), 使用(10911端口
         producer.setVipChannelEnabled(false);

        /**
         * 订阅指定 userTopic 下tags 分别等于 userTagA 或 userTagB 或 userTagC
         */
        consumer.subscribe("userTopic", "userTagA || userTagB || userTagC");
        /**
         * 订阅指定orderTopic下所有消息

         * 注意：一个consumer对象可以订阅多个topic
         */
        consumer.subscribe("orderTopic", "*");

        // 设置消费者消费方式
        consumer.registerMessageListener(new MessageListenerConcurrently() {

            /**
             * 默认msgs里只有一条消息，可以通过设置consumeMessageBatchMaxSize参数来批量接收消息
             */
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(
                    List msgs, ConsumeConcurrentlyContext context) {

                
                System.out.println(msgs + "" + context);

                MessageExt msg = msgs.get(0);
                if (msg.getTopic().equals("userTopic")) {

                    if (msg.getTags() != null && msg.getTags().equals("userTagA")) {

                        System.out.println(new String(msg.getBody()));

                    } else if (msg.getTags() != null && msg.getTags().equals("userTagB")) {

                        System.out.println(new String(msg.getBody()));

                    } else if (msg.getTags() != null && msg.getTags().equals("userTagC")) {

                        System.out.println(new String(msg.getBody()));
                    }
                } else if (msg.getTopic().equals("orderTopic")) {

                    System.out.println(new String(msg.getBody()));
                }

                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });

        
        /**
         * Consumer对象在使用之前必须要调用start初始化，初始化一次即可

         */
        consumer.start();

        System.out.println("Consumer Started.");
    }
}

3. console(这个是一个web展示界面非必须，不在源码里，有需要可单独下载安装)

$ docker run --name rmqconsole -p 8180:8080 --link rmqnamesrv -e "JAVA_OPTS=-Drocketmq.namesrv.addr=rmqnamesrv:9876" -t styletang/rocketmq-console-ng

  打开页面没有报connection exception 并且看到集群下有broker 说明该界面工具已经完美连接到了nameserver。

常见异常

# 我们生产者要使用 usertopic， broker上没有该 topic。
error: No route info of this topic, usertopic

解决方法：
# 自己手动在broker上创建
# 启动broker时加上autoCreateTopicEnable=true