消息队列MQ
MQ全称为Message Queue,消息队列是应用程序和应用程序之间的通信方法。
为什么要使用MQ?
在项目中,可将一些无需即时返回且耗时的操作提取出来,进行异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量。
消息队列的应用场景:
应用解耦、异步处理(提高系统响应速度)、流量削峰(高峰堆积消息,峰后继续处理消息)、日志处理(分布式日志,一般使用kafka)、纯粹通讯。
MQ是消息通信的模型;实现MQ的大致有两种主流方式:AMQP、JMS。
AMQP:AMQP高级消息队列协议,是一个进程间传递异步消息的网络协议,更准确的说是一种binary wire-level protocol(链接协议)。这是其和JMS的本质差别,AMQP不从API层进行限定,而是直接定义网络交换的数据格式。
JMS:JMS即Java消息服务(JavaMessage Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。
AMQP 与 JMS 区别:
JMS是定义了统一的接口,来对消息操作进行统一;AMQP是通过规定协议来统一数据交互的格式
JMS限定了必须使用Java语言;AMQP只是协议,不规定实现方式,因此是跨语言的。
JMS规定了两种消息模式;而AMQP的消息模式更加丰富
消息队列产品:
目前市面上成熟主流的MQ有Kafka 、RocketMQ、RabbitMQ,我们这里对每款MQ做一个简单介绍。
Kafka:
Apache下的一个子项目,使用scala实现的一个高性能分布式Publish/Subscribe消息队列系统。
1.快速持久化:通过磁盘顺序读写与零拷贝机制,可以在O(1)的系统开销下进行消息持久化;
2.高吞吐:在一台普通的服务器上既可以达到10W/s的吞吐速率;
3.高堆积:支持topic下消费者较长时间离线,消息堆积量大;
4.完全的分布式系统:Broker、Producer、Consumer都原生自动支持分布式,依赖zookeeper自动实现复杂均衡;
5.支持Hadoop数据并行加载:对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。
RocketMQ:
RocketMQ的前身是Metaq,当Metaq3.0发布时,产品名称改为RocketMQ。RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点 :
1.能够保证严格的消息顺序
2.提供丰富的消息拉取模式
3.高效的订阅者水平扩展能力
4.实时的消息订阅机制
5.支持事务消息
6.亿级消息堆积能力
RabbitMQ:
使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP,STOMP,也正是如此,使的它变的非常重量级,更适合于企业级的开发。同时实现了Broker架构,核心思想是生产者不会将消息直接发送给队列,消息在发送给客户端时先在中心队列排队。对路由(Routing),负载均衡(Load balance)、数据持久化都有很好的支持。多用于进行企业级的ESB整合。
RabbitMQ介绍:
RabbitMQ是由erlang语言开发,基于AMQP(Advanced Message Queue 高级消息队列协议)协议实现的消息队列,它是一种应用程序之间的通信方法,消息队列在分布式系统开发中应用非常广泛。
RabbitMQ官方地址:http://www.rabbitmq.com/
RabbitMQ提供了6种模式:简单模式,work模式,Publish/Subscribe发布与订阅模式,Routing路由模式,Topics主题模式,RPC远程调用模式(远程调用,不太算MQ;不作介绍);
官网对应模式介绍:https://www.rabbitmq.com/getstarted.html
RabbitMQ入门案例:
目标:入门案例将使用RabbitMQ的简单模式实现通讯过程。
1.创建普通maven工程 rabbitmq_demo 工程pom.xml如下:
4.0.0
com.itheima
rabbitmq_demo
1.0-SNAPSHOT
com.rabbitmq
amqp-client
5.6.0
2.创建一个消息生产者,创建com.itheima.mq.simple.SimpleProducer类,代码如下:
/**
* RabbitMQ入门案例
* 生产者开发-完成简单消息发送
* @author Steven
* @description com.itheima.mq.simple
*/
public class SimpleProducer {
public static void main(String[] args) throws Exception{
//1、创建链接工厂对象-factory=new ConnectionFactory()
ConnectionFactory factory = new ConnectionFactory();
//2、设置RabbitMQ服务主机地址,默认localhost-factory.setHost("localhost")
factory.setHost("localhost");
//3、设置RabbitMQ服务端口,默认-1-factory.setPort(5672)
factory.setPort(5672);
//4、设置虚拟主机名字,默认/-factory.setVirtualHost("szitheima")
factory.setVirtualHost("szitheima");
//5、设置用户连接名,默认guest-factory.setUsername("admin")
factory.setUsername("admin");
//6、设置链接密码,默认guest-factory.setPassword("admin")
factory.setPassword("admin");
//7、创建链接-connection=factory.newConnection()
Connection connection = factory.newConnection();
//8、创建频道-channel = connection.createChannel()
Channel channel = connection.createChannel();
//9、声明队列-channel.queueDeclare(名称,是否持久化,是否独占本连接,是否自动删除,附加参数)
channel.queueDeclare("simple_queue",true,false,false,null);
//10、创建消息-String m = xxx
String message = "hello,欢迎来到深圳黑马!";
//11、消息发送-channel.basicPublish(交换机[默认Default Exchage],路由key[简单模式可以传递队列名称],消息其它属性,消息内容)
channel.basicPublish("","simple_queue",null,message.getBytes("utf-8"));
//12、关闭资源-channel.close();connection.close()
channel.close();
connection.close();
}
}
测试与查看结果:
在执行上述的消息发送之后;可以登录rabbitMQ的管理控制台,可以发现队列和其消息:
如果想查看消息,可以点击队列名称->Get Messages,如下图:
3.消费者代码与生产者差不多,我们可以复制一个Producer改名为Consomer,有差异代码,在下面有特别标出:
/**
* RabbitMQ入门案例
* 消费者开发-完成简单消息接收
* @author Steven
* @description com.itheima.mq.simple
*/
public class SimpleConsumer {
public static void main(String[] args) throws Exception{
//1、创建链接工厂对象-factory=new ConnectionFactory()
ConnectionFactory factory = new ConnectionFactory();
//2、设置RabbitMQ服务主机地址,默认localhost-factory.setHost("localhost")
factory.setHost("localhost");
//3、设置RabbitMQ服务端口,默认-1-factory.setPort(5672)
factory.setPort(5672);
//4、设置虚拟主机名字,默认/-factory.setVirtualHost("szitheima")
factory.setVirtualHost("szitheima");
//5、设置用户连接名,默认guest-factory.setUsername("admin")
factory.setUsername("admin");
//6、设置链接密码,默认guest-factory.setPassword("admin")
factory.setPassword("admin");
//7、创建链接-connection=factory.newConnection()
Connection connection = factory.newConnection();
//8、创建频道-channel = connection.createChannel()
Channel channel = connection.createChannel();
//9、声明队列-channel.queueDeclare(名称,是否持久化,是否独占本连接,是否自动删除,附加参数)
channel.queueDeclare("simple_queue",true,false,false,null);
//创建消费者
Consumer callback = new DefaultConsumer(channel){
/**
* @param consumerTag 消费者标签,在channel.basicConsume时候可以指定
* @param envelope 消息包的内容,可从中获取消息id,消息routingkey,交换机,消息和重传标志(收到消息失败后是否需要重新发送)
* @param properties 属性信息(生产者的发送时指定)
* @param body 消息内容
* @throws IOException
*/
@Override
public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
//路由的key
String routingKey = envelope.getRoutingKey();
//获取交换机信息
String exchange = envelope.getExchange();
//获取消息ID
long deliveryTag = envelope.getDeliveryTag();
//获取消息信息
String message = new String(body,"utf-8");
System.out.println(
"routingKey:" + routingKey +
",exchange:" + exchange +
",deliveryTag:" + deliveryTag +
",message:" + message);
}
};
/**
* 消息消费
* 参数1:队列名称
* 参数2:是否自动应答,true为自动应答[mq接收到回复会删除消息],设置为false则需要手动应答
* 参数3:消息接收到后回调
*/
channel.basicConsume("simple_queue",true,callback);
//注意,此处不建议关闭资源,让程序一直处于读取消息
}
}
测试与查看结果:
执行后,控制台输入如下:
RabbitMQ控制台如下:
4.工具类抽取:
无论是生产者,还是消费者,我们发现前面的几个步骤几乎一模一样,所以可以抽取一个工具类,将前7步代码抽取出去。
/**
* 连接工具类
* @author Steven
* @description com.itheima.mq.utils
*/
public class ConnectionUtils {
/**
* 获取MQ连接对象
* @return
* @throws Exception
*/
public static Connection getConnection() throws Exception{
//1、创建链接工厂对象-factory=new ConnectionFactory()
ConnectionFactory factory = new ConnectionFactory();
//2、设置RabbitMQ服务主机地址,默认localhost-factory.setHost("localhost")
factory.setHost("localhost");
//3、设置RabbitMQ服务端口,默认-1-factory.setPort(5672)
factory.setPort(5672);
//4、设置虚拟主机名字,默认/-factory.setVirtualHost("szitheima")
factory.setVirtualHost("szitheima");
//5、设置用户连接名,默认guest-factory.setUsername("admin")
factory.setUsername("admin");
//6、设置链接密码,默认guest-factory.setPassword("admin")
factory.setPassword("admin");
//7、创建链接-connection=factory.newConnection()
Connection connection = factory.newConnection();
return connection;
}
}
上述的入门案例中其实使用的是如下的简单模式:
在上图的模型中,有以下概念:
P:生产者,也就是要发送消息的程序
C:消费者:消息的接受者,会一直等待消息到来。
Queue:消息队列,图中红色部分。类似一个邮箱,可以缓存消息;生产者向其中投递消息,消费者从其中取出消息。
在rabbitMQ中消费者是一定要到某个消息队列中去获取消息的。