【Cloud Stream】消息驱动概述,Stream设计思想，及Stream实战，解决重复消费以及持久化
消息启动
- 一、消息驱动概述
- 1.1 Cloud Stream的引入
- 1.2 消息驱动是什么
- 二、设计思想
- 2.1 标准MQ
- 2.1.1 Message
- 2.1.2 消息通道MessageChannel
- 2.1.3 消息通道里的消息如何被消费，谁负责收发处理
- 2.2 为什么使用Cloud Stream
- 2.2.1 stream凭什么可以统一底层差异
- 2.2.2 Binder （INPUT对于消费者，OUTPUT对于生产者）
- 2.3 Stream中的消息通信方式遵循了发布-订阅模式
- 2.4 Stream标准流程套路
- 2.4.1 Binder
- 2.4.2 Channel
- 2.4.3 Source和Sink
- 2.5 编码API和常用注解
- 三、新建module cloud-stream-rocketmq-provider8801 消息提供者
- 3.1 pom
- 3.2 application.yml
- 3.3 主启动类
- 3.4 业务层
- 3.5 测试
- 四、新建模块cloud-stream-rocketmq-consumer8802为消费者
- 4.1 pom
- 4.2 application.yml
- 4.3 主启动类
- 4.4 业务类
- 4.5 测试
- 五、分组消费与持久化
- 5.1 按照8802，clone出来一份运行8803
- 5.2 group解决重复消费
- 5.2.1 生产实例场景：
- 5.2.2 该项目问题
- 5.2.3 原理
- 5.3 持久化
- 5.4 总结
一、消息驱动概述
1.1 Cloud Stream的引入
MQ（消息中间件）分为以下四种
- ActiveMQ
- RabbitMQ
- RocketMQ
- Kafka
当我们在一个企业中可能存在多种中间件，但是掌握所有中间件的大牛不是很多，就引出了Stream,让我们不在关注具体MQ细节，我们只需要用一种适配器绑定的方式，自动给我们在各种MQ内切换
1.2 消息驱动是什么
- 屏蔽底层消息中间件的差异，降低切换成本，统一消息的编程模型。
- 官方定义Spring Cloud Stream是一个构建消息驱动微服务的架构。
- 应用程序通过input或者outputs来与Spring Cloud Stream中的binder交互
- 通过配置来binding（绑定），而Spring Cloud Stream得binder对象负责消息中间件交互
- 所以我们只需要搞清楚如何与Spring Cloud Stream交互就可以方便使用消息驱动得方式
- 通过使用Spring Integration来链接消息代理中间件以实现消息事件驱动
- Spring Cloud Stream为一些供应商得消息中间件产品提供了个性化的自动化配置实现，引用了发布-订阅、消息组、分区的三个核心概念
- 目前仅支持RabbitMQ、Kafka
二、设计思想
2.1 标准MQ
2.1.1 Message
生产者/消费者之间靠消息媒介传递信息内容
2.1.2 消息通道MessageChannel
消息必须走特定的通道
2.1.3 消息通道里的消息如何被消费，谁负责收发处理
消息通道MessageChannel的子接口SubscribableChannel，由MessageHandler消息处理器所订阅
2.2 为什么使用Cloud Stream
举个栗子：
比方说我们用到了RabbitMQ和Kafka，由于这两个消息中间件的构架上的不同，像RabbitMQ有exchange,kafka有Topic和Partitions分区
这些中间件的差异导致我们实际项目开发给我们造成了一定的困扰，我们如果用了两个消息队列的其中一种，后面的业务需求，我们想往另一种消息队列进行迁移，这时候无疑就是一个灾难性的，一大堆东西都要重新推倒重新做，因为它跟我们的系统耦合了，这时候SpringCloud Stream给我们提供了一种解耦合的方式
2.2.1 stream凭什么可以统一底层差异
在没有绑定器这个概念的情况下，我们的Springboot应用要直接与消息中间件进行信息交互的时候，由于各种消息中间件构建的初中不同，他们的实现细节上会有较大的差异性。
- 通过绑定器作为中间层，完美的实现了应用程序与消息中间件细节之间的隔离
- 通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同的消息中间件实现
2.2.2 Binder （INPUT对于消费者，OUTPUT对于生产者）
2.3 Stream中的消息通信方式遵循了发布-订阅模式
Topic主题进行广播
- 在RabbitMQ就是Exchange
- 在Kafka中就是Topic
2.4 Stream标准流程套路
2.4.1 Binder
很方便的链接中间件，屏蔽差异
2.4.2 Channel
通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过Channel对队列进行配置。
2.4.3 Source和Sink
简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接受消息就是输入。
2.5 编码API和常用注解
三、新建module cloud-stream-rocketmq-provider8801 消息提供者
3.1 pom
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>cloud2020</artifactId>
<groupId>com.aiguigu.springcloud</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<artifactId>cloud-stream-rocketmq-provider8801</artifactId>
<dependencies>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-stream</artifactId>
</dependency>
<!--stream-rocketmq-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-stream-binder-rocketmq</artifactId>
<version>0.2.1.RELEASE</version>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<!--基础配置-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
<scope>runtime</scope>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
</project>
3.2 application.yml
server:
port: 8801
spring:
cloud:
stream:
rocketmq:
binder:
namesrv-addr: 公网IP1:9876;公网IP2:9876
# 定义name为output的binding
bindings:
output: # 定义name为output的binding
destination: springboot-mq #相当于topic
content-type: application/json
# 定义name为input的binding
# input1:
# destination: test-topic
# content-type: application/json
# group: test-group
eureka:
client: #客户端进行eureka注册的配置
service-url:
defaultZone: http://localhost:7001/eureka
instance:
lease-renewal-interval-in-seconds: 2 #设置心跳的时间间隔（默认是30秒）
lease-expiration-duration-in-seconds: 5 #如果现在超过了5秒的间隔（默认是90秒）
instance-id: send-8801.com #在信息列表时显示主机名称
prefer-ip-address: true #访问的路径变为IP地址
3.3 主启动类
package com.atguigu.springcloud;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.EnableEurekaClient;
@EnableEurekaClient
@SpringBootApplication
public class StreamMQMain8801 {
public static void main(String[] args) {
SpringApplication.run(StreamMQMain8801.class,args);
}
}
3.4 业务层
service 接口
package com.atguigu.springcloud.service;
public interface IMessageProvider {
public String send();
}
实现类
package com.atguigu.springcloud.service.impl;
import com.atguigu.springcloud.service.IMessageProvider;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.messaging.Source;
import org.springframework.messaging.MessageChannel;
import org.springframework.messaging.support.MessageBuilder;
import javax.annotation.Resource;
import java.util.UUID;
@EnableBinding(Source.class)
public class IMessageProviderImpl implements IMessageProvider {
@Resource
private MessageChannel output; //消息发送管道
@Override
public String send() {
String serial = UUID.randomUUID().toString();
output.send(MessageBuilder.withPayload(serial).build());
System.out.println("*****serial: " +serial);
return null;
}
}
controller层
package com.atguigu.springcloud.controller;
import com.atguigu.springcloud.service.IMessageProvider;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
@RestController
public class SendMessageController {
@Resource
private IMessageProvider messageProvider;
@GetMapping("/sendMessage")
public String sendMessage(){
return messageProvider.send();
}
}
3.5 测试
访问http://localhost:8801/sendMessage
控制台得到
四、新建模块cloud-stream-rocketmq-consumer8802为消费者
4.1 pom
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>cloud2020</artifactId>
<groupId>com.aiguigu.springcloud</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<artifactId>cloud-stream-rocketmq-consumer8802</artifactId>
<dependencies>
<!--stream-rocketmq-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-stream-binder-rocketmq</artifactId>
<version>0.2.1.RELEASE</version>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<!--基础配置-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
<scope>runtime</scope>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
</project>
4.2 application.yml
server:
port: 8802
spring:
application:
name: rocketmq-consumer
cloud:
stream:
rocketmq:
binder:
namesrv-addr: 一号服务器IP:9876;二号服务器IP:9876
# 定义name为output的binding
bindings:
# output: # 定义name为output的binding
# destination: springboot-mq
# content-type: application/json
# 定义name为input的binding
input:
destination: springboot-mq #消费哪个topic
content-type: application/json
group: group1 #定义消费者组名
eureka:
client: #客户端进行eureka注册的配置
service-url:
defaultZone: http://localhost:7001/eureka
instance:
lease-renewal-interval-in-seconds: 2 #设置心跳的时间间隔（默认是30秒）
lease-expiration-duration-in-seconds: 5 #如果现在超过了5秒的间隔（默认是90秒）
instance-id: recive-8802.com #在信息列表时显示主机名称
prefer-ip-address: true #访问的路径变为IP地址
4.3 主启动类
package com.atguigu.springcloud;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.EnableEurekaClient;
@SpringBootApplication
@EnableEurekaClient
public class StreamMQmMain8802 {
public static void main(String[] args) {
SpringApplication.run(StreamMQmMain8802.class,args);
}
}
4.4 业务类
controller层
package com.atguigu.springcloud.controller;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.annotation.StreamListener;
import org.springframework.cloud.stream.messaging.Sink;
import org.springframework.messaging.Message;
import org.springframework.stereotype.Component;
@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListenerController {
@Value("${server.port}")
private String serverPort;
@StreamListener(Sink.INPUT)
public void input(Message<String> message){
System.out.println("消费者1号，------->接收到的消息： "+message.getPayload()+"\t port: "+serverPort);
}
}
4.5 测试
访问：http://localhost:8801/sendMessage
8801控制台
8802控制台。
rocketmq控制台也有了相应得曲线与分析
五、分组消费与持久化
5.1 按照8802，clone出来一份运行8803
直接clone,然后启动7001，8801，8802，8803
5.2 group解决重复消费
5.2.1 生产实例场景：
此图来源尚硅谷课程：https://www.bilibili.com/video/BV18E411x7eT?p=89
他这里使用的是rabbitmq,但是本博客使用的是rocketmq,不用扣细节啦，我们看案例就好。
5.2.2 该项目问题
当8801发送信息，8002，8003同时都收到了，存在重复消费问题
故障现象：重复消费
导致原因：默认分组group是不同的，组流水号不一样，被认为不同组，可以消费
问题解决：自定义配置分组，自定义配置分为同一个组，解决重复消费问题
5.2.3 原理
微服务应用放置于同一个group中，就能够保证消息只会被一个应用消费一次，不同组是可以消费的，同一个组内会发生竞争关系，只有其中一个可消费。
8802/8803都变成一个组，那么每次只有一个接收到，这样避免了重复消费
5.3 持久化
按照以下步骤查看变化
- 停掉8802/8803并除掉8802分组group: group1,8803保持不变
- 8801发送4条消息到rocketmq
- 先启动8802，无分组属性配置，后台没有打出来消息
- 再启动8803，有分组属性配置，后台打出了mq上没有被消费的消息
5.4 总结
group解决了重复消费以及消息持久化。