消息队列MessageQueue简介及RabbitMQ五大模型总结
消息队列MessageQueue简介及RabbitMQ五大模型总结
WHAT IS MQ
消息队列，即MQ，Message Queue。
消息队列是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，这样就实现了生产者和消费者的解耦
AMQP与JMS
MQ是消息通信的模型，并不是具体实现。现在实现MQ的有两种主流方式：AMQP、JMS
两者间的区别和联系：
- JMS是定义了统一的接口，来对消息操作进行统一；AMQP是通过规定协议来统一数据交互的格式，这点有点类似于JSON
- JMS限定了必须使用Java语言；AMQP只是协议，不规定实现方式，因此是跨语言的。
- JMS规定了两种消息模型；而AMQP的消息模型更加丰富
常见的MQ产品有：
- ActiveMQ：基于JMS，老牌MQ产品，集群架构模式丰富
- RocketMQ：基于JMS，阿里巴巴产品，目前交由Apache基金会，对Kafla进行了改写，对消息的可靠传输及事务性做了优化
- Kafka：分布式消息系统，高吞吐量，对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务，适合数据冗余处理
- RabbitMQ：基于AMQP协议，erlang语言开发，稳定性好，支持事务，传输可靠
RabbitMQ
RabbitMQ是基于AMQP的一款消息管理系统
官网： http://www.rabbitmq.com/
官方教程：http://www.rabbitmq.com/getstarted.html
下载与安装详见我的RabbitMQ安装指南
RabbitMQ的官方介绍：
RabbitMQ is a message broker: it accepts and forwards messages. You can think about it as a post office: when you put the mail that you want posting in a post box, you can be sure that Mr. or Ms. Mailperson will eventually deliver the mail to your recipient. In this analogy, RabbitMQ is a post box, a post office and a postman
翻译：
RabbitMQ是一个消息代理：它接受和转发消息。 你可以把它想象成一个邮局：当你把邮件放在邮箱里时，你可以确定邮差先生最终会把邮件发送给你的收件人。 在这个比喻中，RabbitMQ是邮政信箱，邮局和邮递员。
RabbitMQ与邮局的主要区别是它不处理纸张，而是接受，存储和转发数据消息的二进制数据块
RabbitMQ的基本原理：
这是一个基本的生产者消费者模型，在RabbitMQ中，生产者把消息发送到Server中的交换机，而消费者则直接绑定到队列，获取消息即可
在交换机模式下，RabbitMQ可以轻松实现点对点传输与动态路由
RabbitMQ的几个核心角色：
P（producer/ publisher）：生产者，一个发送消息的用户应用程序。
C（consumer）：消费者，消费和接收有类似的意思，消费者是一个主要用来等待接收消息的用户应用程序
Queue队列（红色区域）：rabbitmq内部类似于邮箱的一个概念。虽然消息流经rabbitmq和你的应用程序，但是它们只能存储在队列中。队列只受主机的内存和磁盘限制，实质上是一个大的消息缓冲区。许多生产者可以发送消息到一个队列，许多消费者可以尝试从一个队列接收数据。
总之：
生产者将消息发送到队列，消费者从队列中获取消息，队列是存储消息的缓冲区。
以下是官网给出的几大通信模型
但是第6种其实是RPC通信，并不是MQ，因此不予学习。那么也就剩下5种。
但是其实3、4、5这三种都属于订阅模型，只不过进行路由的方式不同（路由是社么？后面说到）。
最简单的生产者消费者模型
这个是大家耳熟能详的生产者消费者模型了，这个很简单，我们只需要让生产者发送消息，消费者接收到消息就行了
首先引入RabbitMQ的Java客户端依赖
<dependencies>
<dependency>
<groupId>com.rabbitmqgroupId>
<artifactId>amqp-clientartifactId>
<version>5.4.3version>
dependency>
dependencies>
生产者代码：
package Simple_PC;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
/**
* 生产者
*/
public class Send {
private final static String QUEUE_NAME = "simple_queue";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
//设置服务地址
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 从连接中创建通道，使用通道才能完成消息相关的操作
Channel channel = connection.createChannel();
// 声明（创建）队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 消息内容
String message = "Hello World!!";
// 向指定的队列中发送消息
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println(" [x] Sent '" + message + "'");
//关闭通道和连接
channel.close();
connection.close();
}
}
消费者代码：
package Simple_PC;
import com.rabbitmq.client.*;
import java.io.IOException;
public class Recv {
private final static String QUEUE_NAME = "simple_queue";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
/*指定ip*/
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 创建通道
Channel channel = connection.createChannel();
// 声明队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
//监听消息，监听到消息时自动调用
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" [x] Received '" + message + "'");
};
/*第二个参数为ACK设置，代表收到消息自动将将消息从队列中移除*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
}
}
启动消费者监听消息，再启动生产者发送消息：
关于消息确认机制ACK
通过刚才的案例可以看出，消息一旦被消费者接收，队列中的消息就会被删除。
那么问题来了：RabbitMQ怎么知道消息被接收了呢？
如果消费者领取消息后，还没执行操作就挂掉了呢？或者抛出了异常？消息消费失败，但是RabbitMQ无从得知，这样消息就丢失了！
因此，RabbitMQ有一个ACK机制。当消费者获取消息后，会向RabbitMQ发送回执ACK，告知消息已经被接收。不过这种回执ACK分两种情况：
- 自动ACK：消息一旦被接收，消费者自动发送ACK
- 手动ACK：消息接收后，不会发送ACK，需要手动调用（业务逻辑中回复ACK）
大家觉得哪种更好呢？
这需要看消息的重要性：
- 如果消息不太重要，丢失也没有影响，那么自动ACK会比较方便
- 如果消息非常重要，不容丢失。那么最好在消费完成后手动ACK，否则接收消息后就自动ACK，RabbitMQ就会把消息从队列中删除。如果此时消费者宕机，那么消息就丢失了
在消费者代码中手动ACK：
channel.basicAck(envelope.getDeliveryTag(), false); //回复ACK，此段代码在你从队列中监听并取到消息后执行 channel.basicConsume(QUEUE_NAME, false, consumer); // 监听队列，第二个参数false则手动进行ACK
为什么消费者不关闭连接与通道？
答：需要持续监听
WORK Queues消息模型
工作队列，又称任务队列。主要思想就是避免执行资源密集型任务时，必须等待它执行完成。相反我们稍后完成任务，我们将任务封装为消息并将其发送到队列。 在后台运行的工作进程将获取任务并最终执行作业。当你运行许多消费者时，任务将在他们之间共享，但是一个消息只能被一个消费者获取。
接下来我们来模拟这个流程：
P：生产者：任务的发布者
C1：消费者，领取任务并且完成任务，假设完成速度较快
C2：消费者2：领取任务并完成任务，假设完成速度慢
生产者代码：
与最简单那个一样
package Work_Queues;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
/**
* 生产者
*/
public class Send {
private final static String QUEUE_NAME = "work_queue";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
//设置服务地址
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 从连接中创建通道，使用通道才能完成消息相关的操作
Channel channel = connection.createChannel();
// 声明（创建）队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
// 循环发布任务
for (int i = 0; i < 50; i++) {
// 消息内容
String message = "task .. " + i;
//发布消息
channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
System.out.println(" [x] Sent '" + message + "'");
//睡眠
Thread.sleep(i * 2);
}
//关闭通道和连接
channel.close();
connection.close();
}
}
消费者1代码：
package Work_Queues;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;
public class Recv1 {
private final static String QUEUE_NAME = "work_queue";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
/*指定ip*/
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 创建通道
Channel channel = connection.createChannel();
// 声明队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
System.out.println(" [消费者1] Waiting for messages. To exit press CTRL+C");
//监听消息，听到消息后自动调用
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
/*模拟处理消息耗时，接收者2号不设置*/
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" [x] Received '" + message + "'");
};
/*第二个参数为ACK设置*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
}
}
消费者2号代码
package Work_Queues;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;
public class Recv2 {
private final static String QUEUE_NAME = "work_queue";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
/*指定ip*/
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 创建通道
Channel channel = connection.createChannel();
// 声明队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
/*能者多劳 非公平调度*/
int prefetchCount = 1;
channel.basicQos(prefetchCount);
channel.basicQos(1);
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" [x] Received '" + message + "'");
};
/*第二个参数为ACK设置*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
}
}
消费者2与消费者1基本类似，就是没有设置消费耗时时间。
这里是模拟有些消费者快，有些比较慢。
可以发现，两个消费者各自消费了25条消息，而且各不相同，这就实现了任务的分发
有问题吗？
- 消费者1比消费者2的效率要低，一次任务的耗时较长
- 然而两人最终消费的消息数量是一样的
- 消费者2大量时间处于空闲状态，消费者1一直忙碌
现在的状态属于是把任务平均分配，正确的做法应该是消费越快的人，消费的越多，官方称之为公平分配
实际上我们需要的是“能者多劳”谁的处理时间快，谁接的消息就应该多
使用basicQos方法和prefetchCount = 1设置，告诉RabbitMQ一次不要向工作人员发送多于一条消息。 或者换句话说，不要向工作人员发送新消息，直到它处理并确认了前一个消息。 相反，它会将其分派给不是仍然忙碌的下一个工作人员
Publish/Subscribe订阅发布模型
在之前的模式中，我们创建了一个工作队列。 工作队列背后的假设是：每个任务只被传递给一个工作人员。 在这一部分，我们将做一些完全不同的事情 - 我们将会传递一个信息给多个消费者。 这种模式被称为“发布/订阅”。
解读：
1、1个生产者，多个消费者
2、每一个消费者都有自己的一个队列
3、生产者没有将消息直接发送到队列，而是发送到了交换机
4、每个队列都要绑定到交换机
5、生产者发送的消息，经过交换机到达队列，实现一个消息被多个消费者获取的目的
X（Exchanges）：交换机一方面：接收生
产者发送的消息。另一方面：知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。
Exchange类型有以下几种：
Fanout：广播，将消息交给所有绑定到交换机的队列
Direct（模型4）：定向，把消息交给符合指定routing key 的队列
Topic（模型5）：通配符，把消息交给符合routing pattern（路由模式） 的队列
我们这里先学习
Fanout：即广播模式
Exchange（交换机）只负责转发消息，不具备存储消息的能力，因此如果没有任何队列与Exchange绑定，或者没有符合路由规则的队列，那么消息会丢失！
Fanout
在广播模式下，消息发送流程是这样的：
- 1） 可以有多个消费者
- 2） 每个消费者有自己的queue（队列）
- 3） 每个队列都要绑定到Exchange（交换机）
- 4） 生产者发送的消息，只能发送到交换机，交换机来决定要发给哪个队列，生产者无法决定。
- 5） 交换机把消息发送给绑定过的所有队列
- 6） 队列的消费者都能拿到消息。实现一条消息被多个消费者消费
生产者：
两个变化：
- 1） 声明Exchange，不再声明Queue
- 2） 发送消息到Exchange，不再发送到Queue
package Fanout;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
/**
* 生产者
*/
public class Send {
private final static String EXCHANGE_NAME = "fanout_exchange";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
//设置服务地址
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 从连接中创建通道，使用通道才能完成消息相关的操作
Channel channel = connection.createChannel();
/* // 声明（创建）队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);*/
/*声明交换机，指定fanout类型*/
channel.exchangeDeclare(EXCHANGE_NAME,"fanout") ;
// 消息内容
String message = "hello everyone " ;
//channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
//发布消息
channel.basicPublish(EXCHANGE_NAME,"",null,message.getBytes());
System.out.println(" [生产者] Sent '" + message + "'");
//关闭通道和连接
channel.close();
connection.close();
}
}
消费者1：
要注意代码中：队列需要和交换机绑定
package Fanout;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;
public class Recv1 {
private final static String QUEUE_NAME = "fanout_exchange_queue1";
private final static String EXCHANGE_NAME = "fanout_exchange";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
/*指定ip*/
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 创建通道
Channel channel = connection.createChannel();
// 声明队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
/*绑定队列到交换机*/
channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"") ;
System.out.println(" [消费者1] Waiting for messages. To exit press CTRL+C");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" [消费者1] Received '" + message + "'");
};
/*第二个参数为ACK设置*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
}
}
消费者2
package Fanout;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;
public class Recv2 {
private final static String QUEUE_NAME = "fanout_exchange_queue2";
private final static String EXCHANGE_NAME = "fanout_exchange";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
/*指定ip*/
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 创建通道
Channel channel = connection.createChannel();
// 声明队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
/*绑定队列到交换机*/
channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"") ;
System.out.println(" [消费者2] Waiting for messages. To exit press CTRL+C");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" [消费者2] Received '" + message + "'");
};
/*第二个参数为ACK设置*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
}
}
启动消费者与生产者，可见两个消费者都会收到相同的信息
Direct
有选择性的接收消息
在订阅模式中，生产者发布消息，所有消费者都可以获取所有消息
在路由模式中，我们将添加一个功能 - 我们将只能订阅一部分消息。 例如，我们只能将重要的错误消息引导到日志文件（以节省磁盘空间），同时仍然能够在控制台上打印所有日志消息
但是，在某些场景下，我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange
在Direct模型下，队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key）
消息的发送方在向Exchange发送消息时，也必须指定消息的routing key。
P：生产者，向Exchange发送消息，发送消息时，会指定一个routing key。
X：Exchange（交换机），接收生产者的消息，然后把消息递交给 与routing key完全匹配的队列
C1：消费者，其所在队列指定了需要routing key 为 error 的消息
C2：消费者，其所在队列指定了需要routing key 为 info、error、warning 的消息
看生产者代码：
此处我们模拟商品的增删改，发送消息的RoutingKey分别是：insert、update、delete，消费者根据指定key的不同接收不同的消息
package Direct;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
/**
* 生产者
*/
public class Send {
private final static String EXCHANGE_NAME = "direct_exchange";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
//设置服务地址
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 从连接中创建通道，使用通道才能完成消息相关的操作
Channel channel = connection.createChannel();
/* // 声明（创建）队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);*/
/*声明交换机*/
channel.exchangeDeclare(EXCHANGE_NAME,"direct") ;
// 消息内容
String message = "商品修改了， id = 1001 " ;
//channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
/*发送消息并指定routing key为isnert，代表新增*/
channel.basicPublish(EXCHANGE_NAME,"update",null,message.getBytes());
System.out.println(" [商品服务] Sent '" + message + "'");
//关闭通道和连接
channel.close();
connection.close();
}
}
消费者1
接收key为update和delete的消息
package Direct;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;
public class Recv1 {
private final static String QUEUE_NAME = "direct_exchange_queue1";
private final static String EXCHANGE_NAME = "direct_exchange";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
/*指定ip*/
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 创建通道
Channel channel = connection.createChannel();
// 声明队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
/*绑定队列到交换机*/
channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"update") ;
channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"delete") ;
System.out.println(" [消费者1] Waiting for messages. To exit press CTRL+C");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" [消费者1] Received '" + message + "'");
};
/*第二个参数为ACK设置*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
}
}
消费者2
接收key类型为update delete insert的消息
package Direct;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.DeliverCallback;
public class Recv2 {
private final static String QUEUE_NAME = "direct_exchange_queue2";
private final static String EXCHANGE_NAME = "direct_exchange";
public static void main(String[] argv) throws Exception {
//定义连接工厂
ConnectionFactory factory = new ConnectionFactory();
/*指定ip*/
factory.setHost("192.168.31.111");
// 通过工程获取连接
Connection connection = factory.newConnection();
// 创建通道
Channel channel = connection.createChannel();
// 声明队列
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
/*绑定队列到交换机*/
channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"update") ;
channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"delete") ;
channel.queueBind(QUEUE_NAME,EXCHANGE_NAME,"insert") ;
System.out.println(" [消费者2] Waiting for messages. To exit press CTRL+C");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" [消费者2] Received '" + message + "'");
};
/*第二个参数为ACK设置*/
channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> { });
}
}
各自接收各自的
Topic
Topic类型的Exchange与Direct相比，都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符！
Routingkey 一般都是有一个或多个单词组成，多个单词之间以”.”分割，例如： item.insert
通配符规则：
`#`：匹配一个或多个词
`*`：匹配不多不少恰好1个词
举例：
`audit.#`：能够匹配`audit.irs.corporate` 或者 `audit.irs`
`audit.*`：只能匹配`audit.irs`
仅此而已，就不再演示了
下面再看最后一个比较重要的问题
消息持久化
如何避免消息丢失？
1） 消费者的ACK机制。可以防止消费者丢失消息。
2） 但是，如果在消费者消费之前，MQ就宕机了，消息就没了。
是可以将消息进行持久化呢？
要将消息持久化，前提是：队列、Exchange都持久化
交换机与队列我们只需要各自的声明方法上添加持久化参数durable为true即可
交换机持久化
队列持久化
消息持久化
在生产者发布消息的时候：
设置第三个参数为
