Linux下ZooKeeper与Kafka环境搭建与集群
ZooKeeper安装
从官网下载ZooKeeper安装包到安装目录 并解压
$ tar -zxvf zookeeper-3.4.13.tar.gz
进入ZooKeeper的conf目录下，将zoo_sample.cfg复制一份命名为zoo.cfg
$ cd zookeeper-3.4.13/conf
$ cp zoo_sample.cfg zoo.cfg
zoo.cfg配置文件内容
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
- tickTime: zookeeper服务器之间或客户端与服务器间维持心跳的时间。也就是每隔tickTime时间就会发送一个心跳，单位：毫秒
- dataDir: zookeeper保存数据的目录
- clientPort: 客户端连接zookeeper服务器的端口，默认是2181
- initLimit: zookeeper接收客户端初始化时收到的心跳个数，超过配置数量表明这个客户端连接失败。总的时间长为tickTime * initLimit的值
- syncLimit: Leader和Follower之间发送消息，请求和应答的长度，最大个数为tickTime的值，总的时间长为tickTime * syncLimit
进入ZooKeeper的bin目录下，执行以下命令启动ZooKeepr
$ cd zookeeper-3.4.13/bin
$ ./zkServer.sh start #start:启动服务；stop:关闭服务；status：查看服务状态
安装完成
Zookeeper客户端登录与基本命令
进入ZooKeeper的bin目录下，使用zkCli.sh命令连接zookeeper
$ cd zookeeper-3.4.13/bin
$ ./zkCli.sh -server ip:port
常用文件操作命令集
ls / #查看根目录下的文件
create /目录名 #创建一个目录
create /目录名 内容 #创建一个目录并添加
delete /目录名、文件 #删除目录（只能删除空目录或文件）
rmr /目录 #级联删除目录（子文件夹一并删除）
get /目录 #查看目录的信息
get /目录/文件 #查看文件内容
Kafka安装
从官网下载Kafka安装包到安装目录 并解压
$ tar -zxvf kafka_2.12-2.1.1.tgz
进入Kafka的config目录下，将zoo_sample.cfg复制一份命名为zoo.cfg
进入到kafka的根目录，执行以下语句开启服务
$ cd kafka_2.12-2.1.1
$ bin/kafka-server-start.sh config/server.properties
安装完成
Kafka 创建、查看、删除topic
创建topci
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
--replication-factor 2 #复制1份
--partitions 1 #创建1个分区
--topic #主题为test
查看topic
$ bin/kafka-topics.sh --list --zookeeper localhost:2181
删除topic
$ bin/kafka-topics.sh --delete--zookeeper localhost:2181 --topic [主题名]
ZooKeeper集群
进入ZooKeeper的conf目录下，在zoo.cfg文件中添加server.myid=ip:port1:port2
server.1=ip:2888:3888
server.2=ip:2888:3888
server.3=ip:2888:3888
......
- server.myid=ip:port1:port2, myid是服务器的编号，一个正整数，一般是0、1、2、3等，port1表示的是服务器与集群中的Leader服务器交换信息的端口，一般用2888，Port2表示的是万一集群中的Leader服务器宕机了，需要一个端口来重新进行宣讲，选出一个新的Leader，一般用3888
在zoo.cfg中dataDir配置的文件夹下创建myid文件，内容为服务器的编号，myid是服务器的编号，一个正整数，一般是0、1、2、3等，与zoo.cfg中的配置的server.myid一致
配置完成，启动所有服务，使用客户端连接一台zookeeper服务器，创建test目录，查看其它服务器是否同步。
Kafka集群
进入Kafka的config目录下，在server.properties文件中增加修改以下项
broker.id=0
#每台服务器的broker.id唯一
listeners=PLAINTEXT://192.168.9.86:9092
#使用本机的ip地址
zookeeper.connect=192.168.9.86:2181,192.168.9.86:2182,192.168.9.86:2183/kafka
# 设置zookeeper的连接信息，kafka的目录不在zookeeper目录时，只要在最后一个地址上添加目录名
所有Kafka服务开启，在其中一台创建3个副本的topic, 创建完，查看基它服务器是已创建
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test
Kafka集群完成