CentOS7——安装zookeeper+kafka集群

目录

1 环境准备：

2 前提条件：

3 软件下载

4 安装zookeeper

4.1 修改配置文件 

 4.2 关闭防火墙/或者防火墙放行

4.3 设置集群中的id，保证唯一

4.4 启动zookeeper

5 安装kafka

5.1 修改配置

5.2 启动kafka

6 验证

7 环境配置

8 启停顺序

---

​​​​​​​

1 环境准备：

本次安装装备了三台虚拟机：

ip：192.168.92.139、192.168.92.142、192.169.92.143

2 前提条件：

每台虚拟机都需要安装JDK8

可参考链接：https://blog.csdn.net/CSU174712009/article/details/118226209

3 软件下载

zookeeper下载：https://archive.apache.org/dist/zookeeper/

kafka下载：https://kafka.apache.org/downloads

自己选择相关版本下载，后上传至服务器

本次使用zk使用3.4.10版本、kafka使用Scala 2.11  - kafka_2.11-0.11.0版本

创建目录：

#mkdir -p /root/soft/zookeeper

#cd /root/soft/zookeeper

#wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

#mkdir -p /root/soft/kafka

#cd /root/soft/kafka

#wget https://archive.apache.org/dist/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz

4 安装zookeeper

#cd /root/soft/zookeeper

解压

#tar -zxvf zookeeper-3.4.10.tar.gz

进入到安装目录

#cd zookeeper-3.4.10

创建两个目录一个放数据、一个放日志

#mkdir data

#mkdir dataLog

 

4.1 修改配置文件 

 修改配置文件

#cd conf

复制一份配置文件进行配置

#cp zoo_sample.cfg zoo.cfg

修改

#vi zoo.cfg

1.配置添加刚才新增的目录

2.配置添加三台虚拟机的ip和端口

 4.2 关闭防火墙/或者防火墙放行

关闭防火墙

#sudo systemctl stop firewalld

或者防火墙放行

firewall-cmd --zone=public --add-port=2181/tcp --permanent 

firewall-cmd --zone=public --add-port=3888/tcp --permanent 

firewall-cmd --zone=public --add-port=2888/tcp --permanent

firewall-cmd --reload

4.3 设置集群中的id，保证唯一

 139上执行

#echo "1" > /root/soft/zookeeper/zookeeper-3.4.10/data/myid

142上执行

#echo "2" > /root/soft/zookeeper/zookeeper-3.4.10/data/myid

143上执行

#echo "3" > /root/soft/zookeeper/zookeeper-3.4.10/data/myid

4.4 启动zookeeper

#/root/soft/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start

查看是否启动

#jps

64050 QuorumPeerMain
65034 Jps

三台都启动后，查看状态，该服务器是从节点

#/root/soft/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status

ZooKeeper JMX enabled by default
Using config: /root/soft/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower

5 安装kafka

#cd /root/soft/kafka

解压安装

#tar -zxvf kafka_2.11-0.11.0.0.tgz

#cd kafka_2.11-0.11.0.0

添加日志目录

#mkdir data

5.1 修改配置

修改配置

#cd config

#vi server.properties

 其它三台服务器做共同配置，保证每个服务器对应相应的id即可

5.2 启动kafka

#cd /root/soft/kafka/kafka_2.11-0.11.0.0/bin

#kafka-server-start.sh daemon ../config/server.properties

查看是否启动

#jsp

64050 QuorumPeerMain
86393 Jps
80651 Kafka

三台服务器都启动即可

6 验证

创建topic，名字first，分区数2、副本数2

#kafka-topics.sh --create --zookeeper 192.168.92.139:2181 --topic first --partitions 2 --replication-factor 2

查看topic列表

#kafka-topics.sh --list --zookeeper 192.168.92.139:2181

first

看是否分发到集群，查看各台服务器的数据

#cd /root/soft/kafka/kafka_2.11-0.11.0.0/data

139服务器 

 142服务器

 143服务器

 至此已经成功安装集群zookeeper+kafka。

7 环境配置

本次环境变量设置汇总：

包括jdk、zookeeper、kafka

配置环境变量：

#vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_291
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export KAFKA_HOME=/root/soft/kafka/kafka_2.11-0.11.0.0
export ZK_HOME=/root/soft/zookeeper/zookeeper-3.4.10

export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZK_HOME/bin

生效

#source /etc/profile

8 启停顺序

配置好环境变量后，启动顺序：先全部启动zookeeper再启动kafka；关闭顺序：先全部关闭kafka再关闭zookeeper

启动：

zkServer.sh start

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

关闭：

kafka-server-stop.sh

zkServer.sh stop