RocketMQ、RabbitMQ、Kafka区别

一、编程语言

RocketMQ是java编写

Kafka采用scala

RabbitMQ采用Erlang

二、数据权限安全

Kafka0.9,RocketMQ4.2以后,已经和RabbitMQ对齐,都有topic级别的控制权限

三、架构和高可用

Kafka:

采用Zookeeper作为节点保活并选举控制器节点(controller)操作主从副本切换,为了支持海量数据,topic数据可以按分片存储到不同节点,且支持分片级主从副本,并由controller根据ISR列表做fail-over

RocketMQ

Rocket抛弃了ZK,一方面因为ZK较强的一致性不适合注册中心的业务,另一方面考虑到外部依赖和KPI(API?),Rocket自己实现了一个注册中心服务NameServer。NameServer和broker机群架构不同,没有主从节点之分,任何Broker,producer和consumer都要去所有NameServer注册自己的地址,注册信息的一致性则由心跳保证,一旦某个服务一段时间没有对某个NameServer发起心跳,该NameServer则对齐剔除,所以仅能满足最终一致性,但一般内网使用问题不大。在数据存储上,Rocket单节点所有topic的数据都存储在一个文件commitLog中,难以做主从分片,甚至主从切换也需要人工处理配置文件master(),后续的版本引入Dledger托管CommitLog之后,基于其Raft协议本质才可以实现自动的主从切换。

RabbitMQ

为无主架构且完全遵循AMQP协议,而且消息被消费后就真的消费了,没有办法重新消费,但是因为存在内存和磁盘节点的角色划分,使用得当也不会丢消息

总结:

日志采集,大数据用Kafka

日常业务开发用RocketMQ

推送场景,协议复杂,IM领域,急需优先级消费用RabbitMQ

你可能感兴趣的:(kafka,java-rabbitmq,rabbitmq)