Kafka集群环境搭建

本次搭建环境集群环境是三个节点的broker以及独立的注册中心节点zookeeper，共用到四台服务器，下面开始讲述详细的搭建过程

 1）环境准备

服务器IP（内网IP）	角色
10.1.0.9	zookeeper
10.1.0.8	broker0
10.1.0.4	broker1
10.1.0.5	broker2

 首先在10.1.0.9服务器节点安装JDK和zookeeper，保证最基础的环境搭建

2）安装JDK

将下载好的JDK上传到服务器指定目录，然后解压

tar -zxvf  zulu8.56.0.21-ca-jdk8.0.302-linux_x64.tar.gz

这里解压之后名字太长，做一下修改

mv  zulu8.56.0.21 zulu8

配置环境变量

vim /etc/profile

配置文件内容如下：

export JAVA_HOME=/usr/software/zulu8
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
 

加载配置文件

source /etc/profile

校验安装是否成功

java -version

3）安装zookeeper 

将下载好的zookeeper上传到服务器指定目录，然后解压

tar -zxvf  apache-zookeeper-3.5.10-bin.tar.gz

修改配置文件名称

mv zoo_simple.cfg zoo.cfg

配置环境变量，便于任意目录下都可以启动zookeeper

vim /etc/profile

配置内容为

export ZOOKEEPER=/usr/software/apache-zookeeper-3.5.10-bin
export PATH=$PATH:$ZOOKEEPER/bin
 

加载配置文件

source /etc/profile

启动zookeeper

zkServer.sh start

查看zookeeper状态

zkServer.sh status

或

ps -ef |grep zookeeper 

至此zookeeper的注册中心环境搭建完毕，下面详细看一下kafka集群环境的搭建

4）kafka集群搭建

以下三台服务器节点搭建几乎一致，但是需要重点关注【server.properties】的配置细节

4.1）配置10.1.0.8 服务器节点（broker0）

服务器上传下载好的kafka（kafka_2.12-2.5.0.tgz）

解压server.properties

tar -zxvf kafka_2.12-2.5.0.tgz

修改配置文件【server.properties】

vim /home/kafka/kafka_2.12-2.5.0/config/server.properties

 主要修改以下四个地方：

#节点id
broker.id=0
#配置本机IP和端口
listeners=PLAINTEXT://10.1.0.8:9092
#配置kafka日志记录位置
log.dirs=/data/kafka-logs
#配置kafka连接zookeeper的地址
zookeeper.connect=10.1.0.9:2181

4.2）配置10.1.0.4 服务器节点（broker1）

远程拷贝,从10.1.0.8拷贝到10.1.0.4 指定的目录

scp kafka_2.12-2.5.0.tgz [email protected]:/home/kafka

解压

tar -zxvf kafka_2.12-2.5.0.tgz

修改配置文件【server.properties】

vim /home/kafka/kafka_2.12-2.5.0/config/server.properties

 主要修改以下四个地方：

#节点id
broker.id=1
#配置本机IP和端口
listeners=PLAINTEXT://10.1.0.4:9093
#配置kafka日志记录位置
log.dirs=/data/kafka-logs
#配置kafka连接zookeeper的地址
zookeeper.connect=10.1.0.9:2181

4.3）配置10.1.0.5 服务器节点（broker2）

远程拷贝,从10.1.0.4拷贝到10.1.0.5 指定的目录

scp kafka_2.12-2.5.0.tgz [email protected]:/home/kafka

解压

tar -zxvf kafka_2.12-2.5.0.tgz

修改配置文件【server.properties】

vim /home/kafka/kafka_2.12-2.5.0/config/server.properties

 主要修改以下四个地方：

#节点id
broker.id=2
#配置本机IP和端口
listeners=PLAINTEXT://10.1.0.5:9094
#配置kafka日志记录位置
log.dirs=/data/kafka-logs
#配置kafka连接zookeeper的地址
zookeeper.connect=10.1.0.9:2181

5）kafka集群启动

进入启动脚本的目录

cd /home/kafka/kafka_2.12-2.5.0/bin

后台启动方式

./kafka-server-start.sh -daemon ../config/server.properties 

查看是否启动

jps -l

 

 三个节点都是以上操作启动

6）检查集群是否成功

连接到zookeeper的节点服务器，连接客户端

zkCli.sh

 查看对应的节点,可以看到brokers

ls /

 ls /brokers/ids

 可以看到三个broker节点都已经注册到zookeeper，至此集群搭建成功