linux搭建kafka集群

linux搭建kafka集群

安装zookeeper集群环境
kafka是依赖于zookeeper注册中心的一款分布式消息对列，所以需要有zookeeper单机或者集群环境。先前我们已经安装了，这里就不做介绍了
准备三台虚拟机
下载安装包
https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.12-2.3.1.tgz
用mkdir命令创建kafka文件夹
用xftp上传安装包并解压

tar -zxvf kafka_2.12-2.3.1.tgz

添加环境变量
打开环境变量配置文件

vim /etc/profile

加入kafka配置

export KAFKA_HOME=/usr/local/programs/kafka_2.12-2.3.1
export PATH=${KAFKA_HOME}/bin:$PATH

#让环境变量生效

source /etc/profile

修改$KAFKA_HOME/config 目录下的server.properties文件
#这个1就是和zookeeper的myid文件的1对应

broker.id=1

外网访问地址

listeners=PLAINTEXT://192.168.229.128:9092
advertised.listeners=PLAINTEXT://192.168.229.128:9092

#填写3台机器的地址,中间用逗号隔开

zookeeper.connect=server1:2181,server2:2181,server3:2181

#启动zookeeper

zkServer.sh start

#启动kafka

kafka-server-start.sh -daemon /root/ff/kafka/kafka_2.12-2.3.1/config/server.properties

#查看进程

Jps

测试
#在leader上创建主题

kafka-topics.sh --create --zookeeper server1:2181,server2:2181,server3:2181 --replication-factor 3 --partitions 3 --topic WinterTop

#查看主题List

kafka-topics.sh --list --zookeeper server1:2181,server2:2181,server3:2181

#在leader上发送消息

kafka-console-producer.sh --broker-list server1:9092,server2:9092,server3:9092 --topic WinterTop

#在follower上消费消息

kafka-console-consumer.sh --bootstrap-server server1:9092,server2:9092,server3:9092  --from-beginning --topic WinterTop