Kafka集群环境搭建

上一篇 << 下一篇 >>>RocketMQ架构原理

---

1.Zookeeper集群环境

1.1解压安装包

tar -zxvf zookeeper-3.4.10.tar.gz

1.2重命名

mv zookeeper-3.4.10 zookeeper

1.3配置修改

cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
修改conf: vi zoo.cfg 修改两处
（1） dataDir=/usr/kafka/zookeeper/data（注意同时在zookeeper创建data目录）
（2）最后面添加
server.0=192.168.212.174:2888:3888
server.1=192.168.212.175:2888:3888
server.2=192.168.212.176:2888:3888

1.4每台zk服务器节点，创建服务器标识

创建文件夹： mkdir data
创建文件myid并填写内容为0： vi
myid (内容为服务器标识 ： 0)

1.5 启动zookeeper

关闭每台服务器节点防火墙，systemctl stop firewalld.service
进入路径： /usr/local/zookeeper/bin
执行： zkServer.sh start
(注意这里3台机器都要进行启动)
状态： zkServer.sh status(在三个节点上检验zk的mode,一个leader和俩个follower)

2.Kafka集群环境

2.1 解压缩并改名

tar -zxvf kafka_2.11-1.0.0.tgz
mv kafka_2.12-0.11.0.0 kafka

2.2 修改配置

vi ./kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://192.168.131.130:9092
zookeeper.connect=192.168.212.164:2181,192.168.212.167:2181,192.168.212.168:2181

其他两台只需要修改server.properties中的broker.id分别为 1 ,2,还有listeners必须填写自己的IP

3 Kafka集群环境测试

3.1 开启3台虚拟机的zookeeper程序

/usr/local/zookeeper/bin/zkServer.sh start
开启成功后查看zookeeper集群的状态
/usr/local/zookeeper/bin/zkServer.sh status
出现Mode:follower或是Mode:leader则代表成功

3.2 在后台开启3台虚拟机的kafka程序(cd /usr/local/kafka)

./bin/kafka-server-start.sh -daemon config/server.properties

3.3 在其中一台虚拟机(192.168.131.130)创建topic

./bin/kafka-topics.sh --create --zookeeper 10.211.55.16:2181 --replication-factor 3 --partitions 1 --topic test1220
// 查看创建的topic信息
./bin/kafka-topics.sh --describe --zookeeper 10.211.55.16:2181 --topic test1220

详细文档请参照官网链接

---

推荐阅读：
<<<消息中间件的核心思想
<<<消息中间件常见问题汇总
<<<基于Netty简单手写消息中间件思路
<<<消息队列常用名词与中间件对比
<< << << << << << << << << << << << << << << << << << << << << << << << << << << << << << << <<