windows环境下kafka伪分布式集群环境搭建

为了本地测试,又不得不在windows环境下,搭建kafka伪分布式集群,记录一下过程


注意:以下所有目录,都不要出现空格!!!

伪分布式集群节点个数配置:zookeeper 和 kafka  分别3个节点 


 1.前期准备

  1. JDK 1.8 安装并测试;
  2. zookeeper,下载地址:https://zookeeper.apache.org/releases.html;
  3. kafka,下载地址:http://kafka.apache.org/downloads;

现在,kafka安装包一般包含Zookeeper,kafka和Zookeeper的对应关系,一般可以找得到,如下图示。

windows环境下kafka伪分布式集群环境搭建_第1张图片

本地测试环境,安装包的版本对应关系

JDK 版本:1.8.0_151;

kafka版本:2.1.0;

Zookeeper版本:3.4.13 

2.Zookeeper伪分布式环境搭建

Kafka中就自带有Zookeeper的服务,但是为了数据的高可用性,最好选择自己搭建Zookeeper集群(官网也给出了同样的建议)

  1. 下载安装包,并解压;
  2. 在zookeeper-3.4.12/conf目录下,把zoo_sample.cfg重命名成zoo.cfg,如下图:

windows环境下kafka伪分布式集群环境搭建_第2张图片

    3.把zookeeper-3.4.12复制3份,用zookeeper-3.4.12A 、zookeeper-3.4.12B、zookeeper-3.4.12C进行区分;

    4.修改zoo.cfg配置文件

zookeeper-3.4.12A中的zoo.cfg配置:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=D:/BDLTools/Zookeeper/Data/1
dataLogDir=D:/BDLTools/Zookeeper/DataLog/1
clientPort=2181
server.1=127.0.0.1:2887:3887
server.2=127.0.0.1:2888:3888
server.3=127.0.0.1:2889:3889

zookeeper-3.4.12B中的zoo.cfg配置:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=D:/BDLTools/Zookeeper/Data/2
dataLogDir=D:/BDLTools/Zookeeper/DataLog/2
clientPort=2182
server.1=127.0.0.1:2887:3887
server.2=127.0.0.1:2888:3888
server.3=127.0.0.1:2889:3889

 zookeeper-3.4.12C中的zoo.cfg配置:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=D:/BDLTools/Zookeeper/Data/3
dataLogDir=D:/BDLTools/Zookeeper/DataLog/3
clientPort=2183
server.1=127.0.0.1:2887:3887
server.2=127.0.0.1:2888:3888
server.3=127.0.0.1:2889:3889

配置文件说明:

服务器之间或客户端与服务端之间维持心跳的时间。就是每隔tickTime就会发送一次心跳。单位毫秒

  • tickTime=2000

这个是配置Zookeeper接收客户端初始化连接最长能忍受initLimit心跳时间间隔。

  • initLimit=10

Leader与follow之间发送消息和应答的时间 总时间=syncLimit*tickTime

  • syncLimit=5

zookeeper数据保持路径 默认将log日志也保存在dataDir

  • dataDir

zookeeper log日志保存地址 不设置默认是dataDir

  • dataLogDir

客户端连接的端口

  • clientPort=2181

因为我的集群都是在同一台电脑上配置的,所以这里端口不能一样
知道配置文件里的意思应该就知道如何修改了吧

  • server.1=127.0.0.1:2887:3887
  • server.2=127.0.0.1:2888:3888
  • server.3=127.0.0.1:2889:3889

对于新手我们只需要该以下地方:
dataDir

dataLogDir

clientPort

但是下面的server是Zookeeper配置里需要重点讲解的部分 
上面的格式我们可以简单的总结为 server.num=B:C:D。 
num:是正整数代表的服务的唯一标识。这个要和后面说道的myid文件保持一致。
B: 标识Zookeeper集群中某一个服务的ip或者域名 192.168.1.130

C:表示server.num这个服务于集群中leader进行信息交流的端口。在kafka中我们leader和follower需要进行数据备份。具体服务就是通过这个地方制定的端口进行通信的。

D:表示万一leader宕机了,我们就通过这个端口来进行再follower中选举新的leader。

    5.创建Data、DataLog目录,然后分别在Data和DataLog目录下,分别创建1 、2、3三个文件夹,如下图示:

windows环境下kafka伪分布式集群环境搭建_第3张图片

    在Zookeeper/Data/1目录下,创建myid文件,内容为:1,依次在2文件夹 3文件夹下创建myid,内容分别为2  3.

windows环境下kafka伪分布式集群环境搭建_第4张图片

myid文件创建过程:在linux系统下,这是十分常见的命令,windows下,可以先创建txt文件,之后文件重命名,把.txt去掉;

myid存放位置说明:myid应该放在我们conf/zoo.cfg文件中指定的dataDir ​​​​;

   6.编辑/zookeeper-3.4.12A/bin/zkServer.cmd文件,

windows环境下kafka伪分布式集群环境搭建_第5张图片

7.验证

分别启动三个zkServer.cmd,并使用cmd命令切换到任意一个/bin目录下,执行命令 zkCli.cmd  -server localhost:2181如下图:

windows环境下kafka伪分布式集群环境搭建_第6张图片

出现  zk: localhost:2181 0 : 说明服务连接成功,也说明搭建的zk服务成功

windows环境下kafka伪分布式集群环境搭建_第7张图片

3.kafka伪分布式环境搭建

 1.下载kafka包,并解压,复制三份,如下图示;

windows环境下kafka伪分布式集群环境搭建_第8张图片

 2.修改config目录下server.properties配置文件

windows环境下kafka伪分布式集群环境搭建_第9张图片

配置文件修改内容:

kafka2.1A/config/server.properties修改内容:

# 以下几个配置是需要修改的,其余保持默认即可
broker.id=1
listeners=PLAINTEXT://127.0.0.1:9092
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
log.dirs=D:/BDLTools/Kafka/Logs/1

kafka2.1B/config/server.properties修改内容:

# 以下几个配置是需要修改的,其余保持默认即可
broker.id=2
listeners=PLAINTEXT://127.0.0.1:9093
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
log.dirs=D:/BDLTools/Kafka/Logs/2

kafka2.1C/config/server.properties修改内容:

# 以下几个配置是需要修改的,其余保持默认即可
broker.id=3
listeners=PLAINTEXT://127.0.0.1:9093
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
log.dirs=D:/BDLTools/Kafka/Logs/3

配置说明:

  • broker.id在每个节点上是唯一的,在分布式集群中,有几个机器中安装了Kafka,那么那几个机器中的Kafka的broker.id一定是不同的,在伪分布式集群中,每个server.properties配置文件中的broker.id都是不同的
  • listeners 监听端口号,因为是伪分布式,端口号必须修改
  • log.dirs指定的kafka中的数据的存放位置,默认的tmp目录会定期清空,所以需要修改,而且指定的目录需要在启动kafka集群之前创建好
  • zookeeper.connect如果不指定,将使用kafka自带的zookeeper

 3.启动

先启动Zookeeper伪分布式集群;

通过cmd命令分别进入kafka2.1A/bin  kafka2.1B/bin  kafka2.1C/bin目录,执行如下命令

.\bin\windows\kafka-server-start.bat .\config\server.properties

4.展示

windows环境下kafka伪分布式集群环境搭建_第10张图片

 基本搭建完成,可以通过项目调用测试

 

参考:

Kafka集群配置---Windows版

你可能感兴趣的:(windows,kafka,zookeeper,伪分布式,kafka)