微服务学习——服务异步通讯

实用篇-RabbitMQ

初识MQ

同步调用的问题

微服务间基于Feign的调用就属于同步方式，存在一些问题。

1. 耦合度高
   每次加入新的需求，都要修改原来的代码
2. 性能下降
   调用者需要等待服务提供者响应，如果调用链过长则响应时间等于每次调用的时间之和。
3. 资源浪费
   调用链中的每个服务在等待响应过程中，不能释放请求占用的资源，高并发场景下会极度浪费系统资源
4. 级联失败
   如果服务提供者出现问题,所有调用方都会跟着出问题,如同多米诺骨牌一样，迅速导致整个微服务群故障

异步调用方案

异步调用常见实现就是事件驱动模式

事件驱动优势

优势一:服务解耦

优势二:性能提升，吞吐量提高

优势三:服务没有强依赖，不担心级联失败问题

优势四:流量削峰

异步通信的缺点:

• 依赖于Broker的可靠性、安全性、吞吐能力
• 架构复杂了，业务没有明显的流程线，不好追踪管理

什么是MQ

MQ(MessageQueue)，中文是消息队列，字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。

RabbitMQ快速入门

RabbitMQ概述

RabbitMQ是基于Erlang语言开发的开源消息通信中间件，官网地址: https://www.rabbitmq.com/

单机部署

下载镜像

方式一：在线拉取

docker pull rabbitmq:3-management

方式二：从本地加载

上传到虚拟机中后，使用命令加载镜像即可：

docker load -i mq.tar

安装MQ

执行下面的命令来运行MQ容器：

docker run \
 -e RABBITMQ_DEFAULT_USER=itcast \
 -e RABBITMQ_DEFAULT_PASS=123321 \
 --name mq \
 --hostname mq1 \
 -p 15672:15672 \
 -p 5672:5672 \
 -d \
 rabbitmq:3-management

RabbitMQ的结构和概念

RabbitMQ中的几个概念:

• channel:操作MQ的工具
• exchange:路由消息到队列中
• queue:缓存消息
• virtual host:虚拟主机，是对queue、exchange等资源的逻辑分组

常见消息模型

MQ的官方文档中给出了5个MQ的Demo示例，对应了几种不同的用法:

• 基本消息队列(BasicQueue)

• 工作消息队列( workQueue)

• 发布订阅（Publish、Subscribe)，又根据交换机类型不同分为三种:
  • Fanout Exchange:广播
  • Direct Exchange:路由
  • Topic Exchange:主题

HelloWorld案例

官方的HelloWorld是基于最基础的消息队列模型来实现的，只包括三个角色:

• publisher:消息发布者，将消息发送到队列queue
• queue:消息队列，负责接受并缓存消息
• consumer:订阅队列，处理队列中的消息

基本消息队列的消息发送流程:

1. 建立connection
2. 创建channel
3. 利用channel声明队列
4. 利用channel向队列发送消息

package cn.itcast.mq.helloworld;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import org.junit.Test;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class PublisherTest {
    @Test
    public void testSendMessage() throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("192.168.5.131");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("itcast");
        factory.setPassword("123321");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.发送消息
        String message = "hello, rabbitmq!";
        channel.basicPublish("", queueName, null, message.getBytes());
        System.out.println("发送消息成功：【" + message + "】");

        // 5.关闭通道和连接
        channel.close();
        connection.close();

    }
}

基本消息队列的消息接收流程:

1. 建立connection
2. 创建channel
3. 利用channel声明队列
4. 定义consumer的消费行为handleDelivery()
5. 利用channel将消费者与队列绑定

package cn.itcast.mq.helloworld;

import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class ConsumerTest {

    public static void main(String[] args) throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("192.168.5.131");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("itcast");
        factory.setPassword("123321");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.订阅消息
        channel.basicConsume(queueName, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope,
                                       AMQP.BasicProperties properties, byte[] body) throws IOException {
                // 5.处理消息
                String message = new String(body);
                System.out.println("接收到消息：【" + message + "】");
            }
        });
        System.out.println("等待接收消息。。。。");
    }
}

SpringAMQP

什么是SpringAMQP

SpringAmqp的官方地址: https://spring.io/projects/spring-amqp

• AMQP

Advanced Message Queuing Protocol，是用于在应用程序或之间传递业务消息的开放标准。该协议与语言和平台无关，更符合微服务中独立性的要求。

• Spring AMQP

Spring AMQP是基于AMQP协议定义的一套API规范，提供了模板来发送和接收消息。包含两部分，其中spring-amqp是基础抽象，spring-rabbit是底层的默认实现。

---

• 案例
  利用SpringAMQP实现HelloWorld中的基础消息队列功能

流程如下:

1. 在父工程中引入spring-amqp的依赖
2. 在publisher服务中利用RabbitTemplate发送消息到simple.queue这个队列
3. 在consumer服务中编写消费逻辑，绑定simple.queue这个队列

• 步骤

步骤1:引入AMQP依赖

因为publisher和consumer服务都需要amqp依赖，因此这里把依赖直接放到父工程mq-demo中:

<dependency>
    <groupId>org.springframework.bootgroupId>
    <artifactId>spring-boot-starter-amqpartifactId>
dependency>

步骤2:在publisher中编写测试方法，向simple.queue发送消息

1. 在publisher服务中编写application.yml，添加mq连接信息:

   spring:
     rabbitmq:
       host: 192.168.5.131 # rabbitMQ的ip地址
       port: 5672 # 端口
       username: itcast
       password: 123321
       virtual-host: /
   

2. 在publisher服务中新建一个测试类，编写测试方法:

   package cn.itcast.mq.spring;
   
   import org.junit.Test;
   import org.junit.runner.RunWith;
   import org.springframework.amqp.rabbit.core.RabbitTemplate;
   import org.springframework.beans.factory.annotation.Autowired;
   import org.springframework.boot.test.context.SpringBootTest;
   import org.springframework.test.context.junit4.SpringRunner;
   
   @RunWith(SpringRunner.class)
   @SpringBootTest
   public class SpringAmqpTest {
       @Autowired
       private RabbitTemplate rabbitTemplate;
   
       @Test
       public void testSendMessage2SimpleQueue() {
           String queueName = "simple.queue";
           String message = "hello Spring amqp!";
           rabbitTemplate.convertAndSend(queueName, message);
       }
   }
   

步骤3:在consumer中编写消费逻辑，监听simple.queue

1. 在consumer服务中编写application.yml，添加mq连接信息:

   spring:
     rabbitmq:
       host: 192.168.5.131 # rabbitMQ的ip地址
       port: 5672 # 端口
       username: itcast
       password: 123321
       virtual-host: /
   

2. 在consumer服务中新建一个类，编写消费逻辑:

   @Component
   public class SpringRabbitListener {
       @RabbitListener(queues = "simple.queue")
       public void listenSimpleQueue(String msg) {
           System.out.println("消费者接收到simple.queue的消息：【" + msg + "】");
       }
   }
   

Work Queue工作队列

work queue，工作队列，可以提高消息处理速度，避免队列消息堆积

多个消费者绑定到一个队列，同一条消息只会被一个消费者处理

---

案例
模拟WorkQueue，实现一个队列绑定多个消费者
基本思路如下:

1. 在publisher服务中定义测试方法，每秒产生50条消息，发送到simple.queue

   @Test
   public void testSendMessage2WorkQueue() throws InterruptedException {
       String queueName = "simple.queue";
       String message = "hello message__";
       for (int i = 1; i < 50; i++) {
           rabbitTemplate.convertAndSend(queueName, message + i);
           Thread.sleep(20);
       }
   }
   

2. 在consumer服务中定义两个消息监听者，都监听simple.queue队列

3. 消费者1每秒处理50条消息，消费者2每秒处理10条消息

   @RabbitListener(queues = "simple.queue")
   public void listenWorkQueue1(String msg) throws InterruptedException {
       System.out.println("消费者1接收到simple.queue的消息：【" + msg + "】"+ LocalTime.now());
       Thread.sleep(20);
   }
   
   @RabbitListener(queues = "simple.queue")
   public void listenWorkQueue2(String msg) throws InterruptedException {
       System.err.println("消费者2接收到simple.queue的消息：【" + msg + "】"+LocalTime.now());
       Thread.sleep(200);
   }
   

消费预取限制

修改application.yml文件，设置preFetch这个值，可以控制预取消息的上限

logging:
  pattern:
    dateformat: MM-dd HH:mm:ss:SSS
spring:
  rabbitmq:
    host: 192.168.5.131 # rabbitMQ的ip地址
    port: 5672 # 端口
    username: itcast
    password: 123321
    virtual-host: /
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息，处理完成才能获取下一个消息

发布( Publish ) 、订阅( Subscribe )

发布订阅模式与之前案例的区别就是允许将同一消息发送给多个消费者。实现方式是加入了exchange(交换机)。

常见exchange类型包括:

• Fanout：广播
• Direct：路由
• Topic：话题

注意：exchange负责消息路由，而不是存储，路由失败则消息丢失

Fanout Exchange

Fanout Exchange会将接收到的消息路由到每一个跟其绑定的queue

---

案例
利用SpringAMQP演示FanoutExchange的使用
实现思路如下:

1. 在consumer服务中，利用代码声明队列、交换机，并将两者绑定

   在consumer服务常见一个类，添加@Configuration注解，并声明FanoutExchange、Queue和绑定关系对象Binding，代码如下:

   package cn.itcast.mq.config;
   
   import org.springframework.amqp.core.Binding;
   import org.springframework.amqp.core.BindingBuilder;
   import org.springframework.amqp.core.FanoutExchange;
   import org.springframework.amqp.core.Queue;
   import org.springframework.context.annotation.Bean;
   import org.springframework.context.annotation.Configuration;
   
   @Configuration
   public class FanoutConfig {
       //itcast.fanout
       @Bean
       public FanoutExchange fanoutExchange() {
           return new FanoutExchange("itcast.fanout");
       }
   
       //fanout.queue1
       @Bean
       public Queue fanoutQueue1() {
           return new Queue("fanout.queue1");
       }
   
       //绑定队列1到交换机
       @Bean
       public Binding fanoutBinding1(Queue fanoutQueue1, FanoutExchange fanoutExchange) {
           return BindingBuilder
                   .bind(fanoutQueue1)
                   .to(fanoutExchange);
       }
   
       //fanout.queue2
       @Bean
       public Queue fanoutQueue2() {
           return new Queue("fanout.queue2");
       }
   
       //绑定队列2到交换机
       @Bean
       public Binding fanoutBinding2(Queue fanoutQueue2, FanoutExchange fanoutExchange) {
           return BindingBuilder
                   .bind(fanoutQueue2)
                   .to(fanoutExchange);
       }
   }
   

2. 在consumer服务中，编写两个消费者方法，分别监听fanout.queue1和fanout.queue2

   @RabbitListener(queues = "fanout.queue1")
   public void listenFanoutQueue1(String msg) {
       System.out.println("消费者接收到fanout.queue1的消息：【" + msg + "】");
   }
   
   @RabbitListener(queues = "fanout.queue2")
   public void listenFanoutQueue2(String msg) {
       System.out.println("消费者接收到fanout.queue2的消息：【" + msg + "】");
   }
   

3. 在publisher中编写测试方法，向itcast.fanout发送消息

   @Test
   public void testSendFanoutExchange() {
       //交换机名称
       String exchangeName = "itcast.fanout";
       //消息
       String message = "hello everyone";
       //发送消息
       rabbitTemplate.convertAndSend(exchangeName, "", message);
   }
   

DirectExchange

Direct Exchange 会将接收到的消息根据规则路由到指定的Queue，因此称为路由模式（routes)。

• 每一个Queue都与Exchange设置一个BindingKey
• 发布者发送消息时，指定消息的RoutingKey
• Exchange将消息路由到BindingKey与消息RoutingKey一致的队列

---

案例
利用SpringAMQP演示DirectExchange的使用
实现思路如下:

1. 在consumer服务中，编写两个消费者方法，分别监听direct.queue1和direct.queue2

2. 并利用@RabbitListener声明Exchange、Queue、RoutingKey

   @RabbitListener(bindings = @QueueBinding(
           value = @Queue(name= "direct.queue1"),
           exchange = @Exchange(name = "itcast.direct",type = ExchangeTypes.DIRECT),
           key = {"red","blue"}
   ))
   public void listenDirectQueue1(String msg) {
       System.out.println("消费者接收到direct.queue1的消息：【" + msg + "】");
   }
   @RabbitListener(bindings = @QueueBinding(
           value = @Queue(name= "direct.queue2"),
           exchange = @Exchange(name = "itcast.direct",type = ExchangeTypes.DIRECT),
           key = {"red","yellow"}
   ))
   public void listenDirectQueue2(String msg) {
       System.out.println("消费者接收到direct.queue2的消息：【" + msg + "】");
   }
   

3. 在publisher中编写测试方法，向itcast. direct发送消息

   @Test
   public void testSendDirectExchange() {
       //交换机名称
       String exchangeName = "itcast.direct";
       //消息
       String message_blue = "hello blue";
       String message_red = "hello red";
       String message_yellow = "hello yellow";
       //发送消息
       rabbitTemplate.convertAndSend(exchangeName, "blue", message_blue);
       rabbitTemplate.convertAndSend(exchangeName, "red", message_red);
       rabbitTemplate.convertAndSend(exchangeName, "yellow", message_yellow);
   }
   

---

描述下Direct交换机与Fanout交换机的差异?

• Fanout交换机将消息路由给每一个与之绑定的队列
• Direct交换机根据RoutingKey判断路由给哪个队列
• 如果多个队列具有相同的RoutingKey，则与Fanout功能类似

基于@RabbitListener注解声明队列和交换机有哪些常见注解?

• @Queue
• @Exchange

TopicExchange

TopicExchange与DirectExchange类似，区别在于routingKey必须是多个单词的列表，并且以.分割。

Queue与Exchange指定BindingKey时可以使用通配符:

• #:代指0个或多个单词
• *:代指一个单词

---

案例
利用SpringAMQP演示TopicExchange的使用
实现思路如下:

1. 在consumer服务中，编写两个消费者方法，分别监听topIc.queue1和topIc.queue1

2. 并利用@RabbitListener声明Exchange.Queue、RoutingKey

   @RabbitListener(bindings = @QueueBinding(
           value = @Queue(name = "topic.queue1"),
           exchange = @Exchange(name = "itcast.topic",type = ExchangeTypes.TOPIC),
           key = "china.#"
   ))
   public void listenTopicQueue1(String msg) {
       System.out.println("消费者接收到topic.queue1的消息：【" + msg + "】");
   }
   @RabbitListener(bindings = @QueueBinding(
           value = @Queue(name = "topic.queue2"),
           exchange = @Exchange(name = "itcast.topic",type = ExchangeTypes.TOPIC),
           key = "#.news"
   ))
   public void listenTopicQueue2(String msg) {
       System.out.println("消费者接收到topic.queue2的消息：【" + msg + "】");
   }
   

3. 在publisher中编写测试方法，向itcast. topic发送消息）

   @Test
   public void testSendTopicExchange() {
       //交换机名称
       String exchangeName = "itcast.topic";
       //消息
       String message_news = "喜报！孙悟空大战哥斯拉，胜!";
       String message_weather = "今天的风儿甚是喧嚣";
       //发送消息
       rabbitTemplate.convertAndSend(exchangeName, "china.news", message_news);
       rabbitTemplate.convertAndSend(exchangeName, "china.weather", message_weather);
   }
   

运行结果：

消息转换器

案例
测试发送Object类型消息

说明:在SpringAMQP的发送方法中，接收消息的类型是Object，也就是说我们可以发送任意对象类型的消息，SpringAMQP会帮我们序列化为字节后发送。

在consumer中利用@Bean声明一个队列:

@Bean
public Queue objectQueue() {
    return new Queue("object.queue");
}

在publisher中发送消息以测试:

//发送对象类型的msg
@Test
public void testSendObjectQueue() {
    Map<String, Object> msg = new HashMap<>();
    msg.put("name", "张三");
    msg.put("age", "18");
    rabbitTemplate.convertAndSend("object.queue", msg);
}

Spring的对消息对象的处理是由org.springframework.amqp.support.converter.MessageConverter来处理的。而
默认实现是SimpleMessageConverter，基于JDK的ObjectOutputStream完成序列化。

如果要修改只需要定义一个MessageConverter类型的Bean即可。推荐用JSON方式序列化，步骤如下:

• 在publisher服务引入依赖（此处直接在父工程引入）

  <dependency>
      <groupId>com.fasterxml.jackson.coregroupId>
      <artifactId>jackson-databindartifactId>
  dependency>
  

• 在publisher服务声明MessageConverter（启动类中定义bean）

  @Bean
  public MessageConverter messageConverter() {
      return new Jackson2JsonMessageConverter();
  }
  

接收消息：

• 在consumer服务引入Jackson依赖（父工程已引入，跳过）

• 在consumer服务定义MessageConverter

  @Bean
  public MessageConverter messageConverter() {
      return new Jackson2JsonMessageConverter();
  }
  

• 然后定义一个消费者，监听object.queue队列并消费消息

  //接收object类型的msg
  @RabbitListener(queues = "object.queue")
  public void listenObjectQueue(Map<String, Object> msg) {
      System.out.println("接收到消息：【" + msg + "】");
  }
  

---

SpringAMQP中消息的序列化和反序列化是怎么实现的?

• 利用MessageConverter实现的，默认是JDK的序列化
  cy>

• 在publisher服务声明MessageConverter（启动类中定义bean）

  @Bean
  public MessageConverter messageConverter() {
      return new Jackson2JsonMessageConverter();
  }
  

接收消息：

• 在consumer服务引入Jackson依赖（父工程已引入，跳过）

• 在consumer服务定义MessageConverter

  @Bean
  public MessageConverter messageConverter() {
      return new Jackson2JsonMessageConverter();
  }
  

• 然后定义一个消费者，监听object.queue队列并消费消息

  //接收object类型的msg
  @RabbitListener(queues = "object.queue")
  public void listenObjectQueue(Map<String, Object> msg) {
      System.out.println("接收到消息：【" + msg + "】");
  }
  

---

SpringAMQP中消息的序列化和反序列化是怎么实现的?

• 利用MessageConverter实现的，默认是JDK的序列化
• 注意发送方与接收方必须使用相同的MessageConverter