zookeeper 集群 和 kafka集群 配置简述

前言

使用官网下载下来的kafka.tgz包，里面包含zookeeper

解压后复制三分kafka，注意目录不要太深否则会报错。也是搞笑了啊。。。。。

zookeeper集群

在zookeeper_data/data下创建三个目录，zk1,zk2,zk3。并分别在里面创建对应文件myid。内容分别是1,2,3。用于给zookeeper设置唯一serveId。

分别创建日志目录，zk1,zk2,zk3

修改 zookeeper.properties配置文件

#数据存放目录，会自动识别目录下的myid文件
dataDir=E:\\kafka1\\zookeeper_data\\data\\zk1
# 日志存放目录
dataLogDir=E:\\kafka1\\zookeeper_data\\log\\zk1
# the port at which the clients will connect

#用于给客户端连接的端口
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080

#Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
#tickTime以毫秒为单位。
#tickTime：该参数用来定义心跳的间隔时间，zookeeper的客户端和服务端之间也有和web开发里类似的session的概念，而zookeeper里最小的session过期时间就是tickTime的两倍。
#tickTime=

#leader 服务器等待follower启动，并完成数据同步的时间，为ticktime的倍数，
initLimit=10

#leader服务器和follower之间进行心跳监测的最大延时时间，为ticktime的倍数，
syncLimit=5
# Enable snapshot.trust.empty config if the ZK upgrade from 3.4.X to 3.5.6 is failing
# with "java.io.IOException: No snapshot found, but there are log entries" error.
# Check upgrade docs for more details.
# snapshot.trust.empty=true

# 集群配置
# server.x 分别对应myid文件的内容（每个 zoo.cfg 文件都需要添加）
#server.myid=此服务的ip:2287(通讯端口):3387（选举端口）
server.1=localhost:2287:3387
server.2=localhost:2288:3388
server.3=localhost:2289:3389

启动、关闭、与连接

 

#启动

 zookeeper-server-start.bat  ../../config/zookeeper.properties

#客户端连接

zookeeper-shell.bat  localhost:2183

zookeeper基础命令

https://blog.csdn.net/dandandeshangni/article/details/80558383

kafka集群

创建日志目录

修改config目录下的server.properties

#此服务的唯一di
broker.id=2

#此服务的端口
port=9092

#日志文件存储地址
log.dirs=E:\kafka1\kafka_data\log\k2

# ZooKeeper集群 地址，多个用,分隔
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

操作命令

其他命令可参考https://www.cnblogs.com/lujinhong2/p/4686467.html

启动：./kafka-server-start.sh -daemon ../config/server.properties

1、先创建一个测试主题：./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dgp

zookeeper指定其中一个节点即可，集群之间会自动同步。

 

2、查看主题： ./kafka-topics.sh --list --zookeeper localhost:2181    

3、发送一些消息：

./kafka-console-producer.sh --broker-list localhost:9092 --topic dgp

输入一些信息

 

4、启动命令行消费者，将消息转储到标准输出：

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic d --from-beginning