Kafka 0.10.2.2集群麒麟V10 SP1测试

环境

系统:kylin V10-SP1
软件:kafka_2.12-0.10.2.2.tgz

测试版本

kafka_2.12-0.10.2.2

集群环境

master:172.17.221.66

slave1:172.17.239.226

slave2:172.17.70.6

服务器安装和启动

1、zookeeper3.4.6安装和启动

mkdir /opt/zookeeper/

mkdir /opt/zookeeper/data

mkdir /opt/zookeeper/dataLog

cd /opt/zookeeper/

sudo wgethttps://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/

zookeeper-3.4.14.tar.gz

sudo tar -zxf zookeeper-3.4.14.tar.gz

cd /opt/zookeeper/zookeeper-3.4.14/

pwd

mkdir data

 

在master、slave1、slave2这3台机器的/opt/zookeeper/data目录内都创建一个名为myid的文件:touch/opt/zookeeper/data/myid

将master机器上的/opt/zookeeper/data/myid文件的内容编辑为1

将slave1机器上的/opt/zookeeper/data/myid文件的内容编辑为2

将slave2机器上的/opt/zookeeper/data/myid文件的内容编辑为3

 

cd /opt/zookeeper/zookeeper-3.4.14/conf

sudo cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

把集群内的zookeeper的zoo.cfg配置文件都修改成一样的内容,主要是在末尾增加配置:

dataDir=/opt/zookeeper/data

dataLogDir=/opt/zookeeper/dataLog

server.1=172.17.221.66:2888:3888

server.2=172.17.239.226:2888:3888

server.3=172.17.70.6:2888:3888

 

在集群3台机器上分别启动zookeeper

cd /opt/zookeeper/zookeeper-3.4.14/bin

sudo ./zkServer.sh start

查看启动状态:

sudo ./zkServer.sh status

Kafka 0.10.2.2集群麒麟V10 SP1测试_第1张图片

查看zookeeper集群中的zookeeper节点的状态,会发现其中一个是leader,其余2个节点是follower。

2、Kafka-0.10.2.2安装和启动

解压安装包

在Master上安装

# mkdir /usr/local/src/kafka

# tar -xzvf kafka_2.12-0.10.2.2.tgz

增加环境变量

# vim /etc/profile

# export KAFKA_HOME=/usr/local/src/kafka/kafka_2.12-0.10.2.2

# export PATH=$KAFKA_HOME/bin:$PATH

修改$KAFKA_HOME/config/server.properties

# log.dirs=/usr/local/src/kafka/ kafka_2.12-0.10.2.2/tmp/kafka-logs

# zookeeper.connect=master:2181,slave1:2181,slave2:2181

刷新环境变量:

# source /etc/profile

拷贝安装包到集群

# scp -r /usr/local/src/kafka root@slave1:/usr/local/src

# scp -r /usr/local/src/kafka root@slave1:/usr/local/src

修改配置文件,对于master:

# vim /usr/local/src/kafka/kafka_2.12-0.10.2.2/config/server.properties

broker.id=0

对于slave1:

# vim /usr/local/src/kafka/kafka_2.12-0.10.2.2/config/server.properties

broker.id=1

对于slave2:

# vim /usr/local/src/kafka/kafka_2.12-0.10.2.2/config/server.properties

broker.id=2

 

启动kafka集群

先在每个节点上启动zookeeper:

查看每个节点上zookeeper状态,是follower还是leader(见第一部分);

在每个节点查看jps进程(见第一部分截图)

到此zookeeper集群启动成功,接下来在各个节点启动kafka:

# cd /usr/local/src/kafka/kafka_2.12-0.10.2.2/bin

# ./kafka-server-start.sh config/server.properties

master节点:

Kafka 0.10.2.2集群麒麟V10 SP1测试_第2张图片

slave1节点:

Kafka 0.10.2.2集群麒麟V10 SP1测试_第3张图片

slave2节点:

Kafka 0.10.2.2集群麒麟V10 SP1测试_第4张图片

 

作者:李林

你可能感兴趣的:(银河麒麟服务器V10,AI&大数据,kafka)