Kerberos安全认证-连载7-大数据技术组件之搭建Kafka集群

目录

1. 节点划分

2. 安装配置Kafka

​​​​​​​3. Kafka命令操作


技术连载系列,前面内容请参考前面连载6内容:https://blog.csdn.net/qq_32020645/article/details/131081246

​​​​​​​1. 节点划分

这里选择Kafka版本为3.3.1,对应的搭建节点如下:

节点IP

节点名称

Kafka服务

192.168.179.4

node1

kafka broker

192.168.179.5

node2

kafka broker

192.168.179.6

node3

kafka broker

​​​​​​​2. 安装配置Kafka

1) 上传解压

kafka安装包下载地址:https://download.csdn.net/download/qq_32020645/87873873

[root@node1 software]# tar -zxvf ./kafka_2.12-3.3.1.tgz

2) 配置Kafka环境变量

# 在node1节点上编辑profile文件,vim /etc/profile

export KAFKA_HOME=/software/kafka_2.12-3.3.1/

export PATH=$PATH:$KAFKA_HOME/bin

#使环境变量生效

source /etc/profile

3) 配置Kafka

在node1节点上配置Kafka,进入$KAFKA_HOME/config中修改server.properties,修改内容如下:

broker.id=0     #注意:这里要唯一的Integer类型

log.dirs=/kafka-logs    #真实数据存储的位置

zookeeper.connect=node3:2181,node4:2181,node5:2181  #zookeeper集群

4) 将以上配置发送到node2,node3节点上

[root@node1 software]# scp -r /software/kafka_2.12-3.3.1 node2:/software/

[root@node1 software]# scp -r /software/kafka_2.12-3.3.1 node3:/software/

发送完成后,在node2、node3节点上配置Kafka的环境变量。

export KAFKA_HOME=/software/kafka_2.12-3.3.1/

export PATH=$PATH:$KAFKA_HOME/bin

#使环境变量生效

source /etc/profile

5) 修改node2,node3节点上的server.properties文件

node2、node3节点修改$KAFKA_HOME/config/server.properties文件中的broker.id,node2中修改为1,node3节点修改为2。

6) 创建Kafka启动脚本

在node1,node2,node3节点$KAFKA_HOME/bin路径中编写Kafka启动脚本“startKafka.sh”,内容如下:

nohup /software/kafka_2.12-3.3.1/bin/kafka-server-start.sh /software/kafka_2.12-3.3.1/config/server.properties > /software/kafka_2.12-3.3.1/kafkalog.txt 2>&1 &

node1,node2,node3节点配置完成后修改“startKafka.sh”脚本执行权限:

chmod +x ./startKafka.sh

7) 启动Kafka集群

在node1,node2,node3三台节点上分别执行startKafka.sh脚本,启动Kafka。

[root@node1 ~]# startKafka.sh

[root@node2 ~]# startKafka.sh

[root@node3 ~]# startKafka.sh

​​​​​​​3. Kafka命令操作

在Kafka 任意节点上操作如下命令测试Kafka。

#创建topic

kafka-topics.sh --create --bootstrap-server node1:9092,node2:9092,node3:9092 --topic testtopic  --partitions 3 --replication-factor 3


#查看集群中的topic

kafka-topics.sh  --list --bootstrap-server node1:9092,node2:9092,node3:9092

#console控制台向topic 中生产数据

kafka-console-producer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic testtopic

#console控制台消费topic中的数据

kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic testtopic

注意:以上创建好之后,可以向Kafka topic中写入数据测试Kafka是否正常。

#删除topic

kafka-topics.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --delete --topic testtopic


欢迎点赞、评论、收藏,关注IT贫道,获取IT技术知识!

你可能感兴趣的:(Kerberos安全认证,大数据,安全,kafka)