Zookeeper+kafka搭建+验证

一、JDK配置

1.Zookeeper和kafka都依赖于JDK因此首先需要在服务器上安装JDK，在官网下载或者百度下载JDK8.linux版本的压缩包。

2.将下载好的压缩到上传到服务器上，找个目录放在里面进行解压，解压完成后到root目录下进入.bashrc文件内配置JDK的环境变量，JAVA_HOME=你的JDk路径

export JAVA_HOME=/usr/lib/java/jdk1.8.0_212

export CLASSPATH=.:./bin

export PATH=$JAVA_HOME/bin:$PATH

在root目录在执行source .bashrc,通过Java -version查看是否配置成功`，出现下面信息说明配置成功。

java version "1.8.0_212"

Java(TM) SE Runtime Environment (build 1.8.0_212-b10)

Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

二、.Zookeeper安装+配置+启动

1.下载安装Zookeeper，在官网下载Zookeeper压缩包，上传到服务器解压。

2.在zkServer.sh文件中配置JDK路径

export JAVA_HOME=/usr/lib/java/jdk1.8.0_212

export PATH=$JAVA_HOME/bin:$PATH

3.配置Zookeeper配置文件

首先cp一份配置文件：cp conf/zoo_sample.cfg   conf/zoo.cfg

修改zoo.cfg文件 vim zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper/data

dataLogDir=/tmp/zookeeper/log

clientPort=2181

server.1=0.0.0.0:2288:3388

server.2=10.200.60.29:2288:3388

dataDir=你要放置数据的目录

dataLogDir=你要存放日志的目录

目录需要收到创建：mkdir  /tmp/zookeeper/data

                                mkdir  /tmp/zookeeper/log

clientPort=Zookeeper的端口号；

server.1=你要安装Zookeeper到的服务器IP：端口号：端口号

有几个服务器就配置几个服务器，如果当前是服务器IP改为0.0.0.0

4. 设置myid文件

    在dataDir目录下创建myid文件，dataDir=你要放置数据的目录

    写入你在 zoo.cfg中设置的id：如server.1=0.0.0.0:2288:3388 ，1就是你当前服务器的broker.id

5.启动Zookeeper

在Zookeeper的安装目录下执行 bin/zkServer.sh  conf/zoo.cf,我这里已经启动过了，显示如下

[root@mysql-compass-test zookeeper-3.4.14]# bin/zkServer.sh  conf/zoo.cf

ZooKeeper JMX enabled by default

Using config: /zookeeper-3.4.14/bin/../conf/zoo.cfg

Usage: bin/zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

其余的服务器安装配置同上

三.Kafka安装+配置+启动

1.首先下载kafka的压缩包解压，上传到服务器

2.修改kafka的配置文件

在kafka的安装目录下执行vim config/server.properties

broker.id=1

listeners=PLAINTEXT://10.200.60.19:9092

advertised.listeners=PLAINTEXT://10.200.60.19:9092

zookeeper.connect=10.200.60.19:2181,10.200.60.29:2181

broker.id= 你在myid文件设置的

listeners=PLAINTEXT://当前服务器IP:9092

advertised.listeners=PLAINTEXT://当前服务器IP:9092

zookeeper.connect=安装Zookeeper的服务器IP:端口号，设置几个写几个以逗号隔开

3.启动kafka

[root@test-hjj kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties

出现下面信息说明启动成功

[2020-03-24 17:21:26,530] INFO [ZooKeeperClient Kafka server] Connected. (kafka.zookeeper.ZooKeeperClient)

[2020-03-24 17:21:26,858] INFO Cluster ID = F6qP-WntRA2uTeEJTnjJ_w (kafka.server.KafkaServer)

[2020-03-24 17:21:26,953] INFO KafkaConfig values:

        advertised.host.name = null

        advertised.listeners = PLAINTEXT://10.200.60.29:9092

        advertised.port = null

        alter.config.policy.class.name = null

        alter.log.dirs.replication.quota.window.num = 11

        alter.log.dirs.replication.quota.window.size.seconds = 1

        authorizer.class.name =

        auto.create.topics.enable = true

        auto.leader.rebalance.enable = true

        background.threads = 10

        broker.id = 2

        broker.id.generation.enable = true

        broker.rack = null

        client.quota.callback.class = null

        compression.type = producer

        connection.failed.authentication.delay.ms = 100

        connections.max.idle.ms = 600000

        connections.max.reauth.ms = 0

        control.plane.listener.name = null

        controlled.shutdown.enable = true

        controlled.shutdown.max.retries = 3

        controlled.shutdown.retry.backoff.ms = 5000

        controller.socket.timeout.ms = 30000

        create.topic.policy.class.name = null

        default.replication.factor = 1

        delegation.token.expiry.check.interval.ms = 3600000

        delegation.token.expiry.time.ms = 86400000

        delegation.token.master.key = null

        delegation.token.max.lifetime.ms = 604800000

        delete.records.purgatory.purge.interval.requests = 1

        delete.topic.enable = true

        fetch.purgatory.purge.interval.requests = 1000

        group.initial.rebalance.delay.ms = 0

其余服务器配置同上

四、.测试kafka

1.创建Topics

bin/kafka-topics.sh --create –zookeeper 服务器ip地址:kafka端口号 --topic TopicName

2.查看Topics列表

bin/kafka-topics.sh --list --zookeeper  服务器ip:zookeeper端口号 

3.创建生产者端

bin/kafka-console-producer.sh --broker-list 服务器ip:kafka端口号 --topic TopicName``

4.创建消费者端

bin/kafka-console-consumer.sh --bootstrap-server 服务器ip:kafka端口号--topic TopicName --from-beginning

5.测试

在生产者端输入消息

[root@my]# bin/kafka-console-producer.sh --broker-list 10.200.60.29:9092 --topic test3

>haha haha

在消费者端就会出现生产者输入的消息

[root@mys]#  bin/kafka-console-consumer.sh --bootstrap-server 10.200.60.19:9092 --topic test3 --from-beginning

haha haha

---

版权声明：本文为CSDN博主「小五Great」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_41584510/article/details/105074737