系统:kylin V10-SP1
软件:kafka_2.12-0.10.2.2.tgz
kafka_2.12-0.10.2.2
master:172.17.221.66
slave1:172.17.239.226
slave2:172.17.70.6
mkdir /opt/zookeeper/
mkdir /opt/zookeeper/data
mkdir /opt/zookeeper/dataLog
cd /opt/zookeeper/
sudo wgethttps://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/
zookeeper-3.4.14.tar.gz
sudo tar -zxf zookeeper-3.4.14.tar.gz
cd /opt/zookeeper/zookeeper-3.4.14/
pwd
mkdir data
在master、slave1、slave2这3台机器的/opt/zookeeper/data目录内都创建一个名为myid的文件:touch/opt/zookeeper/data/myid
将master机器上的/opt/zookeeper/data/myid文件的内容编辑为1
将slave1机器上的/opt/zookeeper/data/myid文件的内容编辑为2
将slave2机器上的/opt/zookeeper/data/myid文件的内容编辑为3
cd /opt/zookeeper/zookeeper-3.4.14/conf
sudo cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
把集群内的zookeeper的zoo.cfg配置文件都修改成一样的内容,主要是在末尾增加配置:
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=172.17.221.66:2888:3888
server.2=172.17.239.226:2888:3888
server.3=172.17.70.6:2888:3888
在集群3台机器上分别启动zookeeper
cd /opt/zookeeper/zookeeper-3.4.14/bin
sudo ./zkServer.sh start
查看启动状态:
sudo ./zkServer.sh status
查看zookeeper集群中的zookeeper节点的状态,会发现其中一个是leader,其余2个节点是follower。
解压安装包
在Master上安装
# mkdir /usr/local/src/kafka
# tar -xzvf kafka_2.12-0.10.2.2.tgz
增加环境变量
# vim /etc/profile
# export KAFKA_HOME=/usr/local/src/kafka/kafka_2.12-0.10.2.2
# export PATH=$KAFKA_HOME/bin:$PATH
修改$KAFKA_HOME/config/server.properties
# log.dirs=/usr/local/src/kafka/ kafka_2.12-0.10.2.2/tmp/kafka-logs
# zookeeper.connect=master:2181,slave1:2181,slave2:2181
刷新环境变量:
# source /etc/profile
拷贝安装包到集群
# scp -r /usr/local/src/kafka root@slave1:/usr/local/src
# scp -r /usr/local/src/kafka root@slave1:/usr/local/src
修改配置文件,对于master:
# vim /usr/local/src/kafka/kafka_2.12-0.10.2.2/config/server.properties
broker.id=0
对于slave1:
# vim /usr/local/src/kafka/kafka_2.12-0.10.2.2/config/server.properties
broker.id=1
对于slave2:
# vim /usr/local/src/kafka/kafka_2.12-0.10.2.2/config/server.properties
broker.id=2
启动kafka集群
先在每个节点上启动zookeeper:
查看每个节点上zookeeper状态,是follower还是leader(见第一部分);
在每个节点查看jps进程(见第一部分截图)
到此zookeeper集群启动成功,接下来在各个节点启动kafka:
# cd /usr/local/src/kafka/kafka_2.12-0.10.2.2/bin
# ./kafka-server-start.sh config/server.properties
master节点:
slave1节点:
slave2节点:
作者:李林