rocketMQ学习笔记（一） 单机版rocketMQ环境搭建和helloWorld

一、简介

官方简介：
    l  RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点：
    l  能够保证严格的消息顺序
    l  提供丰富的消息拉取模式
    l  高效的订阅者水平扩展能力
    l  实时的消息订阅机制

    l  亿级消息堆积能力

二、网络架构

三、核心概念

• 生产者（Producer）：消息发送方，将业务系统中产生的消息发送到brokers（brokers可以理解为消息代理，生产者和消费者之间是通过brokers进行消息的通信），rocketmq提供了以下消息发送方式：同步、异步、单向。
• 生产者组（Producer Group）：相同角色的生产者被归为同一组，比如通常情况下一个服务会部署多个实例，这多个实例就是一个组，生产者分组的作用只体现在消息回查的时候，即如果一个生产者组中的一个生产者实例发送一个事务消息到broker后挂掉了，那么broker会回查此实例所在组的其他实例，从而进行消息的提交或回滚操作。
• 消费者（Consumer）：消息消费方，从brokers拉取消息。站在用户的角度，有以下两种消费者。
• 主动消费者（PullConsumer）：从brokers拉取消息并消费。
• 被动消费者（PushConsumer）：内部也是通过pull方式获取消息，只是进行了扩展和封装，并给用户预留了一个回调接口去实现，当消息到底的时候会执行用户自定义的回调接口。
• 消费者组（Consumer Group）：和生产者组类似。其作用体现在实现消费者的负载均衡和容错，有了消费者组变得异常容易。需要注意的是：同一个消费者组的每个消费者实例订阅的主题必须相同。
• 主题（Topic）：主题就是消息传递的类型。一个生产者实例可以发送消息到多个主题，多个生产者实例也可以发送消息到同一个主题。同样的，对于消费者端来说，一个消费者组可以订阅多个主题的消息，一个主题的消息也可以被多个消费者组订阅。
• 消息（Message）：消息就像是你传递信息的信封。每个消息必须指定一个主题，就好比每个信封上都必须写明收件人。
  
• 消息队列（Message Queues）：在主题内部，逻辑划分了多个子主题，每个子主题被称为消息队列。这个概念在实现最大并发数、故障切换等功能上有巨大的作用。
  
• 标签（Tag）：标签，可以被认为是子主题。通常用于区分同一个主题下的不同作用或者说不同业务的消息。同时也是避免主题定义过多引起性能问题，通常情况下一个生产者组只向一个主题发送消息，其中不同业务的消息通过标签或者说子主题来区分。
• 消息代理（Broker）：消息代理是RockerMQ中很重要的角色。它接收生产者发送的消息，进行消息存储，为消费者拉取消息服务。它还存储消息消耗相关的元数据，包括消费群体，消费进度偏移和主题/队列信息。
• 命名服务（Name Server）：命名服务作为路由信息提供程序。生产者/消费者进行主题查找、消息代理查找、读取/写入消息都需要通过命名服务获取路由信息。
• 消息顺序（Message Order）：当我们使用DefaultMQPushConsumer时，我们可以选择使用“orderly”还是“concurrently”。
  • orderly：消费消息的有序化意味着消息被生产者按照每个消息队列发送的顺序消费。如果您正在处理全局顺序为强制的场景，请确保您使用的主题只有一个消息队列。注意：如果指定了消费顺序，则消息消费的最大并发性是消费组订阅的消息队列数。
  • concurrently：当同时消费时，消息消费的最大并发仅限于为每个消费客户端指定的线程池。注意：此模式不再保证消息顺序。

四、环境搭建：（在虚拟机中搭建rockmq运行环境）
    CentOS 6.5
    openjdk-1.8.0
    apache-maven-3.5.0;
    Git 1.8.3.1

先在虚拟机上把jdk，maven，git都安排好，然后去GitHub上把rocketmq的源码拉下来

地址是：https://github.com/apache/rocketmq

1.下载rocketmq

rocketmq放在/usr/local/rocketmq-all

2.使用maven编译项目

进入上图所示的目录，输入mvn命令：

mvn clean package install -Prelease-all assembly:assembly -U

编译过程会很长，请各位老爷们耐心等待

编译完成后，后多出一个target文件夹，这就是已经编译好的代码

3.启动rocketMQ（敲黑板！！！）

首先我们进入下面的目录：/usr/local/rocketmq-all/target/apache-rocketmq-all/bin

就是编译后的bin目录下，

   然后我们把默认配置给他改一下。因为他的默认配置很高

    现在我们来修改一下内存参数，rocketmq中默认内存4G！！！我们的小虚拟机根本承受不住，在启动时会直接因为内存问题出现一个error：

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000006c0000000, 2147483648, 0) failed; 

error='Cannot allocate memory' (errno=12)

修改runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m" 

修改runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m  

现在可以开始启动了

启动NameServer

nohup sh bin/mqnamesrv &  

启动Broker

 nohup sh bin/mqbroker -n localhost:9876 &  

看一下这两个服务的启动状态

cat nohup.out

也可以到/root/logs/rocketmqlogs下去看服务日志

#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 8589934592 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/rocketmq-all/target/apache-rocketmq-all/bin/hs_err_pid2087.log
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

没报错应该就是正常启动了

好了，现在虚拟机上的rocketmq服务以及搭建完成了。接下来在本地写一个生产者类和一个消费者类Demo

五、在本地新建一个maven工程（不需要web工程）

pom.xml加入以下依赖

  
    org.apache.rocketmq  
    rocketmq-client  
    ${rocketmq.version}  
  
  
    org.apache.rocketmq  
    rocketmq-common  
    ${rocketmq.version}  
  

生产者类：

public class Producer {
    public static void main(String[] args) throws MQClientException, InterruptedException {

        /**
         * 一个应用创建一个Producer，由应用来维护此对象，可以设置为全局对象或者单例
         * 注意：ProducerGroupName需要由应用来保证唯一
         * ProducerGroup这个概念发送普通的消息时，作用不大，但是发送分布式事务消息时，比较关键，
         * 因为服务器会回查这个Group下的任意一个Producer
         */
        DefaultMQProducer producer = new DefaultMQProducer("producer_huaguoguo");
        producer.setNamesrvAddr("xxx:9876");

        /**
         * Producer对象在使用之前必须要调用start初始化，初始化一次即可
         * 注意：切记不可以在每次发送消息时，都调用start方法
         */
        producer.start();

        /**
         * 下面这段代码表明一个Producer对象可以发送多个topic，多个tag的消息。
         * 注意：send方法是同步调用，只要不抛异常就标识成功。但是发送成功也可会有多种状态，
         * 例如消息写入Master成功，但是Slave不成功，这种情况消息属于成功，但是对于个别应用如果对消息可靠性要求极高
         * 需要对这种情况做处理。另外，消息可能会存在发送失败的情况，失败重试由应用来处理。
         */
        for (int i = 0; i < 1; i++) {
            try {

                /*
                 * 创建一个消息对象
                 */
                Message msg = new Message("TopicTest" /* Topic */,
                    "TagA" /* Tag */,
                    ("Hello RocketMQ").getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
                );

                /*
                 * 调用producer发送消息来将消息传递给brokers。
                 */
                SendResult sendResult = producer.send(msg);

                System.out.printf("%s%n", sendResult);
            } catch (Exception e) {
                e.printStackTrace();
                Thread.sleep(1000);
            }
        }


        /**
         * 应用退出时，要调用shutdown来清理资源，关闭网络连接，从MetaQ服务器上注销自己
         * 注意：我们建议应用在JBOSS、Tomcat等容器的退出钩子里调用shutdown方法
         */
        producer.shutdown();
    }
}

消费者类：

public class Consumer {

    /**
     * 当前例子是PushConsumer用法，使用方式给用户感觉是消息从RocketMQ服务器推到了应用客户端。

     * 但是实际PushConsumer内部是使用长轮询Pull方式从MetaQ服务器拉消息，然后再回调用户Listener方法

     */
    public static void main(String[] args) throws InterruptedException, MQClientException {

        /**
         * 一个应用创建一个Consumer，由应用来维护此对象，可以设置为全局对象或者单例
         * 注意：ConsumerGroupName需要由应用来保证唯一
         */
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("conusmer_huaguoguo");


        consumer.setNamesrvAddr("xxx:9876");

        /*
         * Specify where to start in case the specified consumer group is a brand new one.
         */
//        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);


        /**
         * 订阅指定topic下所有消息
         * 注意：一个consumer对象可以订阅多个topic
         */
        consumer.subscribe("TopicTest", "*");

        /*
         *  注册回调，以便在从brokers那里获得的消息到达时执行。
         */
        consumer.registerMessageListener(new MessageListenerConcurrently() {

            /**
             * 这个方法是消息到达时执行消费逻辑
             * 默认msgs里只有一条消息，可以通过设置consumeMessageBatchMaxSize参数来批量接收消息
             */
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List msgs,
                ConsumeConcurrentlyContext context) {
                for (MessageExt msg : msgs) {

                    System.out.printf(Thread.currentThread().getName() + " Receive New Messages: " +  new String(msg.getBody()) + "%n");
                }
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });

        /*
         *  Consumer对象在使用之前必须要调用start初始化，初始化一次即可
         */
        consumer.start();

        System.out.printf("Consumer Started.%n");
    }
}

先启动消费者类的main方法，开启后消费者后注册一个监听对象等待消费，然后我们再启动生产者类的main方法，控制台打印：

SendResult [sendStatus=SEND_OK, msgId=C0A82AC22FD418B4AAC248F08FA80000, offsetMsgId=C0A89E0B00002A9F0000000000083D77, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=2], queueOffset=751]

说明消费已经发送成功了，这时在消费者端的监听对象收到消息，并打印出来：

ConsumeMessageThread_1 Receive New Messages: Hello RocketMQ

ojbk，helloWorld成功了。