docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ

消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。

docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第1张图片

(一)rocketMQ

官网:http://rocketmq.apache.org/

开源的分布式消息和流处理,流处理这块原来只有kafka这样说,因为rocketMq本身做的也比较好,它也加上了kafka这句话,意思我也很强。

docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第2张图片

Github:https://github.com/apache/rocketmq/

目前最新的版本是4.5.0

docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第3张图片

Github:https://github.com/alibaba

这里已经找不到rocketMq了,因为已经捐献给apache了,之前的很多资料官方都不提供了,唯一有的就是上边rocketMq的官网。

docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第4张图片
  • 开发的动机

在早期阶段,我们构建了基于ActiveMQ5.x(早于5.3)的分布式消息中间件。我们的跨国企业使用它进行异步通信、搜索、社交网络活动流、数据管道,甚至在其程中。随着我们的业务吞吐量增加,来自我们的消息传递集群的压力也变得紧迫。

  • 为什么开发RocketMQ

基于我们的研究,随着队列的增加和虚拟主题的使用,ActiveMQ IO模块遇到了瓶颈。我们尽力通过节流、路由或降级来解决这个问题,但效果并不好。所以我们开始关注流行的消息传递解决方案Kafka。不幸的是,Kafka不能满足我们的要求,特别是在低延迟和高可靠性方面。在这种情况下,我们决定发明一个新的消息传递引擎来处理更广泛的用例集,从传统的pub/sub场景到大容量的实时零损失容忍事务系统。我们相信这个解决方案是有益的,所以我们希望向社区开放源代码。

docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第5张图片
  • 下载rocketmq源码
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第6张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第7张图片
bc0b0cb08f8dd0588cd06603f1a733dc.png
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第8张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第9张图片

(二)rocketmq环境搭建

(一)安装虚拟机

源码:https://github.com/limingios/netFuture/tree/master/jms,可以查看,之前的文章,vagrant的介绍docker【中级】。

docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第10张图片
  • 环境

192.168.89.100

192.168.89.101

每台服务器1主1从,2M-2S-SYNC(两主两从同步写)

相关安装包存储路径:/root/soft/

docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第11张图片
  • 下载

89.100主机

Apache: http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip

wget http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zipyum -y install unzipunzip rocketmq-all-4.2.0-bin-release.zip -d /root/rocketmq
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第12张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第13张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第14张图片

安装JDK 新的版本要求JDK1.8以上的

192.168.89.100 和192.168.89.101都要安装

源码:jms目录下的pro.sh

#通过vi 直接复制进去也可以#但是一定要记住增加权限chmod 777 pro.sh./pro.sh
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第15张图片
 # @Author: liming# @Date: 2018-11-26 23:14:59# @Last Modified by: liming# @Last Modified time: 23:15:05# @urlblog idig8.com# 个人公众号 编程坑太多#!/bin/bashSOFT_PATH=/opt/softif [ ! -d $SOFT_PATH ];thenmkdir $SOFT_PATHelseecho "文件夹已经存在"fiyum install -y wget #install jdk1.8cd $SOFT_PATHwget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"tar -zxvf jdk* -C $SOFT_PATHcd jdk*JAVA_HOME=`pwd` #install maven3.2.3cd $SOFT_PATHwget https://archive.apache.org/dist/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gztar -zxvf apache-maven-3.2.3-bin.tar.gz -C $SOFT_PATHmv apache-maven-3.2.3 maven-3.2.3cd maven*MAVEN_HOME=`pwd`#install git 2.8.0cd $SOFT_PATHyum -y install zlib-devel openssl-devel cpio expat-devel gettext-devel curl-devel perl-ExtUtils-CBuilder perl-ExtUtils- MakeMakerwget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.8.0.tar.gztar -zxvf git-2.8.0.tar.gz -C $SOFT_PATHcd git*./configuremake installln -s /usr/local/bin/git /usr/bin/git#追加环境变量echo "export JAVA_HOME=${JAVA_HOME}" >> /etc/profileecho "export PATH=$""JAVA_HOME/bin:$""PATH" >> /etc/profileecho "export MAVEN_HOME=${MAVEN_HOME}" >> /etc/profileecho "export PATH=$""MAVEN_HOME/bin:$""PATH" >> /etc/profilesource /etc/profile#输出信息echo "-----source update-----"echo "java version"java -versionecho "maven version"mvn -vecho "-----path-----"echo "JAVA_HOME:"$JAVA_HOMEecho "MAVEN_HOME:"$MAVEN_HOMEsource /etc/profile

再次更新环境变量

192.168.89.100 和192.168.89.101都要

source /etc/profile

配置host

192.168.89.100 和192.168.89.101都要

vi /etc/hosts192.168.89.100 rocketmq1192.168.89.101 rocketmq2
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第16张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第17张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第18张图片

配置环境变量

192.168.89.100 和192.168.89.101都要

echo "export ROCKETMQ_HOME=/root/rocketmq" >> /etc/profileecho "export PATH=$PATH::$ROCKETMQ_HOME/bin" >> /etc/profilesource /etc/profile
4bf96adb4423092db3b3fda33262e2ae.png

192.168.89.100 进行配置

cd /root/rocketmq/conf/2m-2s-syncll
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第19张图片

192.168.89.100配置

源码:包中jms 里面配置好了2m-2s-sync

直接覆盖就可以了。具体配置下面会说。按照文件名

yum -y install lrzszrz -y
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第20张图片

192.168.89.100创建存储&日志文件

mkdir /root/rocketmq/datamkdir /root/rocketmq/data/storemkdir /root/rocketmq/data/store/commitlogmkdir /root/rocketmq/data/store/consumequeuemkdir /root/rocketmq/data/store/indexmkdir /root/rocketmq/data/store-slavemkdir /root/rocketmq/data/store-slave/indexmkdir /root/rocketmq/data/store-slave/commitlogmkdir /root/rocketmq/data/store-slave/consumequeuemkdir -p /root/rocketmq/logscd /root/rocketmq/conf && sed -i 's#${user.home}#/root/rocketmq#g' *.xml
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第21张图片
b3839cb93fb55e7dff517f11c7f71a01.png

192.168.89.100改参数

runbroker.sh,runserver.sh启动参数默认对jvm的堆内存设置比较大(不改启动不起来),如果是虚拟机非线上环境需要改下参数

cd /root/rocketmq/binvi runbroker.shvi runserver.sh#默认大小-Xms8g -Xmx8g -Xmn4g改为:JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"cd /root/rocketmq/binvi runserver.sh
cff3af59a1a371d5f333337a20d077bf.png
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第22张图片
vi runbroker.sh
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第23张图片

192.168.89.100复制到192.168.89.101

cd /root/scp -r rocketmq/ [email protected]:/root/
aa78e63009112e8d5bc37855bd0b94eb.png

192.168.89.100和192.168.89.101

增加权限

cd /root/rocketmq/binchmod 777 * 

192.168.89.100启动Nameserver服务 和 BrokerServer服务

cd /root/rocketmq/binsh mqnamesrv &sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-a.properties &sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-b-s.properties &
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第24张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第25张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第26张图片

192.168.89.101启动Nameserver服务 和 BrokerServer服务

cd /root/rocketmq/binsh mqnamesrv &sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-b.properties &sh mqbroker -c /root/rocketmq/conf/2m-2s-sync/broker-a-s.properties &
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第27张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第28张图片

测试查看集群

 sh mqadmin clusterlist -n 192.168.89.100:9876
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第29张图片

测试发送

export NAMESRV_ADDR='rocketmq1:9876;rocketmq2:9876'#测试发送端sh /root/rocketmq/bin/tools.sh org.apache.rocketmq.example.quickstart.Producer#测试消费端sh /root/rocketmq/bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第30张图片
docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ_第31张图片

服务停止

cd /root/rocketmq/binsh mqshutdown brokersh mqshutdown namesrv#或者直接jps,然后kill -9 进程ID

PS:终于安装成功了,2主2从。特别注意的是在broker的properties文件我都在源码上传的。但是里面有个属性一定要注意:默认不配置brokerIP1和brokerIP2时,都会根据当前网卡选择一个IP使用,当你的机器有多块网卡时,很有可能会有问题。brokerIP1一定要填写IP不要填写别名。否则java连接就会出现RemotingTooMuchRequestException: sendDefaultImpl call timeout;

坚持原创的35岁IT老兵!感谢您能够看完这篇文章!感谢关注,评论,转发!

你可能感兴趣的:(docker安装rocketmq_一起从实操出发-rocketmq之集群部署,轻松搞定消息队列 MQ)