MQ 衡量指标:服务性能、数据存储、集群架构
ActiveMQ 是 Apache 出品,最流行的,能力强劲的开源消息总线,并且它一
个完全支持 J M S 规范的消息中间件。
其丰富的 API 、多种集群构建模式使得他成为业界老牌消息中间件,在中
小型企业中应用广泛!
Apache下的一个子项目,使用scala实现的一个高性能分布式Publish/Subscribe消息队列系统,具有以下特性:
1.快速持久化:通过磁盘顺序读写与零拷贝机制,可以在O(1)的系统开销下进行消息持久化;
2. 高吞吐:在一台普通的服务器上既可以达到10W/s的吞吐速率;
3. 高堆积:支持topic下消费者较长时间离线,消息堆积量大;
4. 完全的分布式系统:Broker、Producer、Consumer都原生自动支持分布式,依赖zookeeper自动实现复杂均衡;
5. 支持Hadoop数据并行加载:对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。
阿里系下开源的一款分布式、队列模型的消息中间件,原名Metaq,3.0版本名称改为RocketMQ,是阿里参照kafka设计思想使用java实现的一套mq。同时将阿里系内部多款mq产品(Notify、metaq)进行整合,只维护核心功能,去除了所有其他运行时依赖,保证核心功能最简化,在此基础上配合阿里上述其他开源产品实现不同场景下mq的架构,目前主要多用于订单交易系统。
具有以下特点:
1.能够保证严格的消息顺序
2.提供针对消息的过滤功能
3.提供丰富的消息拉取模式
4.高效的订阅者水平扩展能力
5.实时的消息订阅机制
6.亿级消息堆积能力
官方提供了一些不同于kafka的对比差异:
https://rocketmq.apache.org/docs/motivation/
号称最快的消息队列系统,专门为高吞吐量/低延迟的场景开发,在金融界的应用中经常使用,偏重于实时数据通信场景。ZMQ能够实现RabbitMQ不擅长的高级/复杂的队列,但是开发人员需要自己组合多种技术框架,开发成本高。因此ZeroMQ具有一个独特的非中间件的模式,更像一个socket library,你不需要安装和运行一个消息服务器或中间件,因为你的应用程序本身就是使用ZeroMQ API完成逻辑服务的角色。但是ZeroMQ仅提供非持久性的队列,如果down机,数据将会丢失。如:Twitter的Storm中使用ZeroMQ作为数据流的传输。
ZeroMQ套接字是与传输层无关的:ZeroMQ套接字对所有传输层协议定义了统一的API接口。默认支持 进程内(inproc) ,进程间(IPC) ,多播,TCP协议,在不同的协议之间切换只要简单的改变连接字符串的前缀。可以在任何时候以最小的代价从进程间的本地通信切换到分布式下的TCP通信。ZeroMQ在背后处理连接建立,断开和重连逻辑。
特性:
1.无锁的队列模型:对于跨线程间的交互(用户端和session)之间的数据 交换通道pipe,采用无锁的队列算法CAS;在pipe的两端注册有异步事件, 在读或者写消息到pipe的时,会自动触发读写事件。
2.批量处理的算法:对于批量的消息,进行了适应性的优化,可以批量的接 收和发送 消息。
3.多核下的线程绑定,无须CPU切换:区别于传统的多线程并发模式,信号量或者临界区,zeroMQ充分利用多核的优势,每个核绑定运行一个工作者线程,避免多线程之间的CPU切换开销。
使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP,STOMP,也正是如此,使的它变的非常重量级,更适合于企业级的开发。同时实现了Broker架构,核心思想是生产者不会将消息直接发送给队列,消息在发送给客户端时先在中心队列排队。对路由(Routing),负载均衡(Load balance)、数据持久化都有很好的支持。多用于进行企业级的ESB整合。
结论:
ActiviMq老牌消息中间件,api全面,但是吞吐量不大
Kafaka吞吐量大,但是数据无法保证不丢失,主要面向大数据
RokectMQ:吞吐量大,保证数据不丢失,并且支持分布式事物,但是商业版需要收费
RabbitMQ:吞吐量大,数据不易丢失
Erlang语言最初在于交换机领域的架构模式,这样使得 RabbitMQ在Broker之间进行数据交互的性能是非常优秀的
Erlang的优点:Erlang有着和原生Socket—样的延迟
AMQP定义:
是具有现代特征的二进制协议;
是一个提供统一消息服务的应用层标准高级消息队列协议;
是应用层协议的一个开放标准,为面向消息的中间件设计;
Server:又称Broker,接受客户端的连接,实现AMQP实体服务
Connection:连接:应用程序与Broker的网络连接
Channel:网络通道,几乎所有的操作都在Channel中进行,Channel是进行消息读写的通道;客户端可建立多个Channel,每个Channel代表一个会话任务;
Message:消息,服务器与应用程序之间传递的数据,由Properties和Body组成。Properties可以对消息进行装饰,比如消息的优先级、延迟等高级特性;Body则就是消息体内容;
Virtual host:虚拟地址,用于进行逻辑隔离,最上层的消息路由;一个Virtual Host里面可以有若干个Exchange和Queue,同一个Virtual Host里面不能有相同名称的Exchange或Queue;
Exchange:交换机,交换消息,根据路由键转发消息到绑定的队列;
Binding:Exchange和Queue之间的虚拟连接,binding中可以包含routing key;
Routing key:一个路由规则,虚拟机可用它来确定如何路由一个特定消息
Queue:也称为Message Queue,消息队列,保存消息并将它们转发给消费者
#1.查询镜像(如果没有此镜像的话就直接运行下一步)
docker search rabbitmq:management
#2.获取镜像
docker pull rabbitmq:management
#3.运行镜像(使用第一种方式就可以啦)
##方式一:默认guest用户,密码也是guest
docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq rabbitmq:management
##方式二:设置用户名和密码
docker run -d \
--name my-rabbitmq \
-p 5672:5672 -p 15672:15672 \
-v /data:/var/lib/rabbitmq \
--hostname my-rabbitmq-host \
-e RABBITMQ_DEFAULT_VHOST=my_vhost \
-e RABBITMQ_DEFAULT_USER=admin \
-e RABBITMQ_DEFAULT_PASS=admin \
--restart=always \
rabbitmq:management
注意获取镜像的时候要获取management版本的,不要获取last版本的,management版本的才带有管理界面
参数说明:
-d:后台运行容器
-name:指定容器名
-p:指定服务运行的端口(5672:应用访问端口;15672:控制台Web端口号)
-v:映射目录或文件,启动了一个数据卷容器,数据卷路径为:/var/lib/rabbitmq,再将此数据卷映射到住宿主机的/data目录
–hostname:主机名(RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据,默认为主机名)
-e:指定环境变量;(RABBITMQ_DEFAULT_VHOST:默认虚拟机名;RABBITMQ_DEFAULT_USER:默认的用户名;RABBITMQ_DEFAULT_PASS:默认用户名的密码)
–restart=always:当Docker重启时,容器能自动启动
rabbitmq:management:镜像名
注1:RABBITMQ_DEFAULT_VHOST=my_vhost,my_vhost名字请记好,在之后的编程中要用到,如果启动时没指定,默认值为/
创建一个springboot项目:rabbitmqapi
导入pom依赖
com.rabbitmq
amqp-client
3.6.5
消费端代码
package com.wr.rabbitmqapi.quickstart;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.QueueingConsumer;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
/**
* @author ruirui
* @site www.haha.com
* @company 哈哈公司
* @create 2020-03-03 14:19
*
*订单微服务/短信微服务
* 接收消息的
*
*/
public class Consumer {
public static void main(String[] args) throws Exception {
//1.连接MQ服务器
ConnectionFactory factory= new ConnectionFactory();
factory.setHost("192.168.180.133");
//5672是MQ服务器的服务端口,15672是控制台端口
factory.setPort(5672);
factory.setVirtualHost("/");
//2.创建connection
Connection connection = factory.newConnection();
//3.创建会话
Channel channel = connection.createChannel();
//4.绑定队列Queue(这里存放着将要消费的信息)
String queueName="test001";
//下面五个参数的解释
//1.队列的名称 2.是否持久化 3.是否独占 4.无消息是否自动删除 5.消息信息参数
channel.queueDeclare(queueName,true,false,false,null);
//5.指定消费者
QueueingConsumer consumer = new QueueingConsumer(channel);
//指定队列中的消息签收方式
//第二个参数是 自动签收
channel.basicConsume(queueName,true,consumer);
//6.接受消息
while(true){
QueueingConsumer.Delivery delivery = consumer.nextDelivery();
String msg=new String(delivery.getBody());
System.out.println("从MQ服务器队列中接受到的信息..."+msg);
}
}
}
生产端代码
package com.wr.rabbitmqapi.quickstart;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.io.IOException;
import java.util.concurrent.TimeoutException;
/**
* @author ruirui
* @site www.haha.com
* @company 哈哈公司
* @create 2020-03-03 14:20
*
*支付微服务
* 发送消息的
*/
public class Producer {
public static void main(String[] args) throws Exception {
//1.创建一个connectionFactory 并进行配置
ConnectionFactory connectionFactory = new ConnectionFactory();
connectionFactory.setHost("192.168.180.133");
connectionFactory.setPort(5672);
connectionFactory.setVirtualHost("/");
//2.通过连接工厂创建连接
Connection connection = connectionFactory.newConnection();
//3.通过connection创建一个Channel
Channel channel = connection.createChannel();
//4.通过channel发送数据
for(int i=0;i<5;i++){
String msg="Hello RabbitMQ";
channel.basicPublish("","test001",null,msg.getBytes());
}
//5.记得要关闭相关的连接
channel.close();
connection.close();
}
}