在Linux和Windows上安装kafka(版本:2.12-2.8.0)

记录:379

场景:在CentOS 7.9操作系统上,安装kafka_2.12-2.8.0。在Windows上操作系统上,安装kafka_2.12-2.8.0。

版本:

JDK 1.8
CentOS 7.9
zookeeper-3.5.9
kafka_2.12-2.8.0

一、在Linux上安装kafka

安装虚拟机:B203

虚拟机IP:192.168.19.203

1.下载kafka

版本:kafka_2.12-2.8.0。

下载命令:wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.12-2.8.0.tgz

下载包:kafka_2.12-2.8.0.tgz

2.解压kafka

解压到目录:/opt/zk

解压命令:tar -zxvf kafka_2.12-2.8.0.tgz -C /opt/kafka/

解析:在kafka_2.12-2.8.0目录下,包括bin、config、libs、site-docs、licenses目录。在bin目录下存放脚本。config目录下存放配置文件。site-docs目录下存放kafka的文档。在lib目录下存放kafka运行包以及全量依赖包。licenses目录下存放许可文件。

3.配置kafka

操作目录:/opt/kafka/kafka_2.12-2.8.0/config

修改文件:server.properties

修改内容:

# 配置日志目录
log.dirs=/opt/kafka/kafka-logs-2.8.0
# 配置Kafka端口
port=29001
# 配置连接zookeeper
zookeeper.connect=192.168.19.203:12181

4.启动kafka

4.1启动zookeeper

操作目录:/opt/zk/zookeeper-3.5.9/bin

命令:sh zkServer.sh start

在Linux上安装zookeeper,请参考博文。

地址:https://blog.csdn.net/zhangbeizhen18/article/details/129071097

4.2启动kafka

操作目录:/opt/kafka/kafka_2.12-2.8.0/bin

启动命令1:./kafka-server-start.sh ../config/server.properties

启动命令2:nohup ./kafka-server-start.sh ../config/server.properties >/dev/null 2>&1 &

解析:启动命令1,直接在控制台打印信息。启动命令2,后台启动。

4.3关闭kafka

Pid=$(jps -lm | grep -i 'kafka.Kafka'| awk '{print $1}')
kill -s KILL $Pid

解析:直接使用./kafka-server-stop.sh关闭不了,因此选择以上方式。

4.4查看zookeeper监听端口

命令:netstat -atunlp

解析:默认是9092。本例已经改成了29001。

5.查看kafka

5.1zookeeper命令

连接客户端:sh zkCli.sh -timeout 5000 -server 192.168.19.203:12181

查看topics命令:ls /brokers/topics

删除toptics命令:deleteall /brokers/topics/cityInfo

5.2kafka基本应用

操作目录:/opt/kafka/kafka_2.12-2.8.0/bin

5.2.1创建topics

命令:sh kafka-topics.sh --create --zookeeper 192.168.19.203:12181 --replication-factor 1 --partitions 1 --topic cityInfo

5.2.2启动kafka生产者

命令:sh kafka-console-producer.sh --broker-list 192.168.19.203:29001 --topic cityInfo

解析:创建生产者后,topic中写入消息。

5.2.3启动kafka消费者

命令:sh kafka-console-consumer.sh --bootstrap-server 192.168.19.203:29001 --topic cityInfo

解析:创建消费者后,会从topic读出消息。

6.基于普通用户使用kafka

在启动kafka时,不使用root用户直接启动,建议使用普通用户。

改变安装目录赋权给一个普通用户就可以。

6.1创建普通用户操作

创建用户命令:useradd learn

修改密码命令:passwd

解析:在执行passwd时,提示输入密码。可以查看用户信息:cat /etc/passwd。

6.2普通用户信息

用户名称/口令:learn/12345678

6.3把kafka的安装目录赋权给普通用户

命令:chown -R learn:learn /opt/kafka

6.4启动kafka

切换用户:su learn

操作目录:cd /opt/kafka/kafka_2.12-2.8.0/bin

启动命令1:./kafka-server-start.sh ../config/server.properties

启动命令2:nohup ./kafka-server-start.sh ../config/server.properties >/dev/null 2>&1 &

二、在Windows上安装kafka

1.下载Kafka

版本:kafka_2.12-2.8.0。

下载命令:https://archive.apache.org/dist/kafka/2.8.0/kafka_2.12-2.8.0.tgz

下载包:kafka_2.12-2.8.0.tgz

2.解压Kafka

解压kafka_2.12-2.8.0.tgz到本地kafka_2.12-2.8.0。

目录:D:\dev\hub\mid\kafka\kafka

解析:在kafka_2.12-2.8.0目录下,包括bin、config、libs、site-docs、licenses目录。在bin目录下存放脚本。config目录下存放配置文件。site-docs目录下存放kafka的文档。在lib目录下存放kafka运行包以及全量依赖包。licenses目录下存放许可文件。

3.配置Kafka

操作目录:D:\dev\hub\mid\kafka\kafka\config

修改文件:server.properties

修改内容:

# 配置日志目录
log.dirs=D:\\dev\\hub\\mid\\kafka\\kafka-logs-2.8.0
# 配置Kafka端口
port=29001
# 配置连接zookeeper
zookeeper.connect=localhost:12181

4.启动Kafka

4.1启动zookeeper

保证kafka连接的zookeeper已经启动。

在Windows上安装zookeeper,请参考博文。

地址:https://blog.csdn.net/zhangbeizhen18/article/details/129071097

4.2启动Kafka

操作目录:D:\dev\hub\mid\kafka\kafka\

使用Windows提供的Windows PowerShell执行命令。

命令:.\bin\windows\kafka-server-start.bat .\config\server.properties

以上,感谢。

2023年2月16日

你可能感兴趣的:(L02-运维部署,在Linux安装kafka,在Windows安装kafka,安装kafka,zookeeper,CentOS,7.9)