Java-主流框架—（14）Spring-ElasticSearch
1.RocketMQ简介
1.1MQ简介
MQ（Message Queue）消息队列，是一种用来保存消息数据的队列
队列：数据结构的一种，特征为 “先进先出”
1.2何为消息
服务器间的业务请求
1.3MQ作用
1.应用解耦（异步消息发送）
MQ基本工作模式
2.快速应用变更维护（异步消息发送）
3.流量削锋（异步消息发送）
1.4MQ优缺点分析
优点（作用）
缺点
1.5MQ产品介绍
ActiveMQ：java语言实现，万级数据吞吐量，处理速度ms级，主从架构，成熟度高
RabbitMQ ：erlang语言实现，万级数据吞吐量，处理速度us级，主从架构，
RocketMQ ：java语言实现，十万级数据吞吐量，处理速度ms级，分布式架构，功能强大，扩展性强
kafka ：scala语言实现，十万级数据吞吐量，处理速度ms级，分布式架构，功能较少，应用于大数据较多
RocketMQ是阿里开源的一款非常优秀中间件产品，脱胎于阿里的另一款队列技术MetaQ，后捐赠给Apache基金会作为一款孵化技术，仅仅经历了一年多的时间就成为Apache基金会的顶级项目。并且它现在已经在阿里内部被广泛的应用，并且经受住了多次双十一的这种极致场景的压力（2017年的双十一，RocketMQ流转的消息量达到了万亿级，峰值TPS达到5600万）
解决所有缺点
2.环境搭建
2.1基础概念
2.2安装
下载：https://www.apache.org/
3.消息发送
3.1消息发送与接收开发流程
3.2单生产者单消费者消息发送
导入RocketMQ客户端坐标
<dependency>
<groupId>org.apache.rocketmqgroupId>
<artifactId>rocketmq-clientartifactId>
<version>4.5.2version>
dependency>
生产者
//1.创建一个发送消息的对象Producer
DefaultMQProducer producer = new DefaultMQProducer("group1");
//2.设定发送的命名服务器地址
producer.setNamesrvAddr("192.168.175.130:9876");
//3.1启动发送的服务
producer.start();
//4.创建要发送的消息对象,指定topic，指定内容body
Message msg = new Message("topic1","hello rocketmq".getBytes("UTF-8"));
//3.2发送消息
SendResult result = producer.send(msg);
System.out.println("返回结果："+result);
//5.关闭连接
producer.shutdown();注意：关闭服务器防火墙
systemctl stop firewalld.service
消费者
//1.创建一个接收消息的对象Comsumer
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
//2.设定接受的命名服务器地址
consumer.setNamesrvAddr("192.168.175.130:9876");
//3.设定接收消息对应的topic
consumer.subscribe("topic1","*");
//3.开启监听 用于接收消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
//遍历消息
for (MessageExt messageExt : list) {
System.out.println("收到消息:"+messageExt);
System.out.println("消息:"+new String(messageExt.getBody()));
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
//4.启动接收消息的服务
consumer.start();
System.out.println("接受消息服务已开启运行"); 
3.3单生产者多消费者消息发送
消费者
//1.创建一个接收消息的对象Comsumer
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
//2.设定接受的命名服务器地址
consumer.setNamesrvAddr("192.168.175.130:9876");
//3.设定接收消息对应的topic
consumer.subscribe("topic1","*");
//设置当前消费者的消费模式(默认模式 负载均衡)
// consumer.setMessageModel(MessageModel.CLUSTERING);
//设置当前消费者的消费模式为广播模式(所有客户端接收到的消息都是一样的)
consumer.setMessageModel(MessageModel.BROADCASTING);
//3.开启监听 用于接收消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
//遍历消息
for (MessageExt messageExt : list) {
System.out.println("收到消息:"+messageExt);
System.out.println("消息:"+new String(messageExt.getBody()));
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
//4.启动接收消息的服务
consumer.start();
System.out.println("接受消息服务已开启运行"); 均衡负载
广播模式
3.4多生产者多消费者消息发送
多生产者产生的消息可以被同一个消费者消费，也可以被多个消费者消费
3.5消息类别
3.5.1同步消息
特征：即时性较强，重要的消息，且必须有回执的消息，例如短信，通知（转账成功）
public class Producer {
public static void main(String[] args) throws Exception {
DefaultMQProducer producer = new DefaultMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
producer.start();
for (int i=1;i<=5;i++) {
同步消息发送
Message msg = new Message("topic2",("同步消息：hello rocketmq"+i).getBytes("UTF-8"));
SendResult send = producer.send(msg);
System.out.println("返回结果"+send);
}
//添加一个休眠操作，确保异步消息返回后能够输出
TimeUnit.SECONDS.sleep(10);
producer.shutdown();
}
}3.5.2异步消息
特征：即时性较弱，但需要有回执的消息，例如订单中的某些信息
（回调处理结果必须在生产者进程结束前执行，否则回调无法正确执行）
public class Producer {
public static void main(String[] args) throws Exception {
DefaultMQProducer producer = new DefaultMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
producer.start();
for (int i=1;i<=5;i++) {
//异步消息发送
Message msg = new Message("topic2",("异步消息：hello rocketmq"+i).getBytes("UTF-8"));
producer.send(msg,new SendCallback() {
@Override
public void onSuccess(SendResult sendResult) {
System.out.println(sendResult);
}
@Override
public void onException(Throwable throwable) {
System.out.println(throwable);
}
});
}
//添加一个休眠操作，确保异步消息返回后能够输出
TimeUnit.SECONDS.sleep(10);
producer.shutdown();
}
}3.5.3单项消息
特征：不需要有回执的消息，例如日志类消息
public class Producer {
public static void main(String[] args) throws Exception {
DefaultMQProducer producer = new DefaultMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
producer.start();
for (int i=1;i<=5;i++) {
//单向消息发送
Message msg = new Message("topic2",("单项消息：hello rocketmq"+i).getBytes("UTF-8"));
producer.sendOneway(msg);
}
//添加一个休眠操作，确保异步消息返回后能够输出
TimeUnit.SECONDS.sleep(10);
producer.shutdown();
}
}3.5.4延时消息
消息发送时并不直接发送到消息服务器，而是根据设定的等待时间到达，起到延时到达的缓冲作用
public class Producer {
public static void main(String[] args) throws Exception {
DefaultMQProducer producer = new DefaultMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
producer.start();
for (int i=1;i<=5;i++) {
//同步消息发送
Message msg = new Message("topic2",("非延时消息：hello rocketmq"+i).getBytes("UTF-8"));
//设置当前消息的延时效果
msg.setDelayTimeLevel(3);
SendResult send = producer.send(msg);
System.out.println("返回结果"+send);
}
producer.shutdown();
}
}目前支持的消息时间
1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h
3.5.5批量消息
public class Producer {
public static void main(String[] args) throws Exception {
DefaultMQProducer producer = new DefaultMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
producer.start();
//创建一个集合保存多个消息
List msgList = new ArrayList();
Message msg1 = new Message("topic3",("批量消息：hello rocketmq111").getBytes("UTF-8"));
Message msg2 = new Message("topic3",("批量消息：hello rocketmq222").getBytes("UTF-8"));
Message msg3 = new Message("topic3",("批量消息：hello rocketmq333").getBytes("UTF-8"));
msgList.add(msg1);
msgList.add(msg2);
msgList.add(msg3);
//批量消息发送(每次发送的消息总量不得超过4M)
//消息的总长度包含4个信息：topic,body,消息的属性,日志（20字节）
SendResult send = producer.send(msgList);
System.out.println("返回结果"+send);
producer.shutdown();
}
} 3.5.6消息过滤
分类过滤
生产者
Message msg = new Message("topic6","tag2",("消息过滤按照tag：hello rocketmq 2").getBytes("UTF-8"));
消费者
//接收消息的时候，除了制定topic，还可以指定接收的tag,*代表任意tag
consumer.subscribe("topic6","tag1 || tag2");
消息过滤
生产者
//为消息添加属性
msg.putUserProperty("vip","1");
msg.putUserProperty("age","20");
消费者
//使用消息选择器来过滤对应的属性，语法格式为类SQL语法
consumer.subscribe("topic7", MessageSelector.bySql("age >= 18"));
注意：SQL过滤需要依赖服务器的功能支持，在broker配置文件中添加对应的功能项，并开启对应功能
enablePropertyFilter=true
启动服务器使启用对应配置文件
sh mqbroker -n localhost:9876 -c ../conf/broker.conf
3.5.7错乱的消息顺序
3.5.8顺序消息
发送消息
//设置消息进入到指定的消息队列中
for(final Order order : orderList){
Message msg = new Message("orderTopic",order.toString().getBytes());
//发送时要指定对应的消息队列选择器
SendResult result = producer.send(msg, new MessageQueueSelector() {
//设置当前消息发送时使用哪一个消息队列
public MessageQueue select(Listlist, Message message, Object o) { //根据发送的信息不同，选择不同的消息队列
//根据id来选择一个消息队列的对象，并返回->id得到int值
int mqIndex = order.getId().hashCode() % list.size();
return list.get(mqIndex);
}
}, null);
System.out.println(result);
}
接收消息
//使用单线程的模式从消息队列中取数据，一个线程绑定一个消息队列
consumer.registerMessageListener(new MessageListenerOrderly() {
//使用MessageListenerOrderly接口后，对消息队列的处理由一个消息队列多个线程服务/ /，转化为一个消息队列一个线程服务
public ConsumeOrderlyStatus consumeMessage(Listlist, ConsumeOrderlyContext consumeOrderlyContext) { for(MessageExt msg : list){
System.out.println("消息："+new String(msg.getBody()));
}
return ConsumeOrderlyStatus.SUCCESS;
}
});
3.5.9事务消息
事务消息状态
提交状态：允许进入队列，此消息与非事务消息无区别
回滚状态：不允许进入队列，此消息等同于未发送过
中间状态：完成了half消息的发送，未对MQ进行二次状态确认
注意：事务消息仅与生产者有关，与消费者无关
public static void main1(String[] args) throws Exception {
//事务消息使用的生产者TransactionMQProducer
TransactionMQProducer producer = new TransactionMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
//添加本地事务的监听
producer.setTransactionListener(new TransactionListener() {
//正常的事务过程
@Override
public LocalTransactionState executeLocalTransaction(Message message, Object o) {
return LocalTransactionState.COMMIT_MESSAGE;
}
//事务补偿过程
@Override
public LocalTransactionState checkLocalTransaction(MessageExt messageExt) {
return null;
}
});
producer.start();
Message msg = new Message("topic7",("事务消息：hello rocketmq").getBytes("UTF-8"));
SendResult send = producer.sendMessageInTransaction(msg,null);
System.out.println("返回结果"+send);
producer.shutdown();
}public static void main2(String[] args) throws Exception {
//事务消息使用的生产者TransactionMQProducer
TransactionMQProducer producer = new TransactionMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
//添加本地事务的监听
producer.setTransactionListener(new TransactionListener() {
//正常的事务过程
@Override
public LocalTransactionState executeLocalTransaction(Message message, Object o) {
return LocalTransactionState.ROLLBACK_MESSAGE;
}
//事务补偿过程
@Override
public LocalTransactionState checkLocalTransaction(MessageExt messageExt) {
return null;
}
});
producer.start();
Message msg = new Message("topic8",("事务消息：hello rocketmq").getBytes("UTF-8"));
SendResult send = producer.sendMessageInTransaction(msg,null);
System.out.println("返回结果"+send);
producer.shutdown();
}public static void main(String[] args) throws Exception {
//事务消息使用的生产者TransactionMQProducer
TransactionMQProducer producer = new TransactionMQProducer("group1");
producer.setNamesrvAddr("192.168.175.130:9876");
//添加本地事务的监听
producer.setTransactionListener(new TransactionListener() {
//正常的事务过程
@Override
public LocalTransactionState executeLocalTransaction(Message message, Object o) {
return LocalTransactionState.UNKNOW;
}
//事务补偿过程
@Override
public LocalTransactionState checkLocalTransaction(MessageExt messageExt) {
System.out.println("事务补偿过程执行");
return LocalTransactionState.COMMIT_MESSAGE;
}
});
producer.start();
Message msg = new Message("topic9",("事务消息：hello rocketmq").getBytes("UTF-8"));
SendResult send = producer.sendMessageInTransaction(msg,null);
System.out.println("返回结果"+send);
//实物补偿过程必须保障服务器在运行过程中，否则将无法进行正常的事务补偿
// producer.shutdown();
}4.集群搭建
4.1RocketMQ集群分类
4.2RocketMQ集群特征
4.3RocketMQ集群工作流程
步骤1：NameServer启动，开启监听，等待broker、producer与consumer连接
步骤2：broker启动，根据配置信息，连接所有的NameServer，并保持长连接
步骤2补充：如果broker中有现存数据， NameServer将保存topic与broker关系
步骤3：producer发信息，连接某个NameServer，并建立长连接
步骤4：producer发消息
步骤5：producer在broker的topic选择一个消息队列（从列表中选择）
步骤6：producer与broker建立长连接，用于发送消息
步骤7：producer发送消息
comsumer工作流程同producer
4.4双主双从集群搭建
5.高级特性
5.1消息的存储
说明：ACK（Acknowledge character）
注意：
数据库
文件系统
5.2高效的消息存储妤读写方式
5.3消息存储结构
MQ数据存储区域包含如下内容
5.4刷盘机制
同步刷盘：安全性高，效率低，速度慢（适用于对数据安全要求较高的业务）
异步刷盘：安全性低，效率高，速度快（适用于对数据处理速度要求较高的业务）
配置方式
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
5.5高可用性
nameserver
消息服务器
消息生产
消息消费
5.6主从数据复制
同步复制
异步复制
配置方式
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
5.7负载均衡
Producer负载均衡
Consumer负载均衡
5.8消息重试
当消息消费后未正常返回消费成功的信息将启动消息重试机制
消息重试机制
死信队列
当消息消费重试到达了指定次数（默认16次）后，MQ将无法被正常消费的消息称为死信消息（Dead-Letter Message）
死信消息不会被直接抛弃，而是保存到了一个全新的队列中，该队列称为死信队列（Dead-Letter Queue）
死信队列特征
死信队列中消息特征
死信处理：在监控平台中，通过查找死信，获取死信的messageId，然后通过id对死信进行精准消费
5.9消息重复消费
---------------------------------------------------------------------------------------------------------------------------------
内容有部分存在书籍、课堂、网络记录，如有雷同纯属巧合