Zookeeper集群搭建和Kafka集群的搭建

Zookeeper！！！
一、Zookeeper集群搭建步骤
0）集群规划
在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。
1）解压安装
（1）解压zookeeper安装包到/home/hadoop/insatll/目录下
[hadoop@hadoop01 tools]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /home/hadoop/insatll/
（2）在/home/hadoop/insatll/zookeeper-3.4.10/这个目录下创建zkData
mkdir -p zkData
（3）重命名/home/hadoop/insatll/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg
mv zoo_sample.cfg zoo.cfg
2）配置zoo.cfg文件
（1）具体配置
dataDir=/home/hadoop/insatll/zookeeper-3.4.10/zkData
增加如下配置

#######################cluster##########################
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

（2）配置参数解读
Server.A=B:C:D。
A是一个数字，表示这个是第几号服务器；
B是这个服务器的ip地址；
C是这个服务器与集群中的Leader服务器交换信息的端口；
D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
3）集群操作
（1）在/home/hadoop/insatll/zookeeper-3.4.10/zkData目录下创建一个myid的文件
touch myid
添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码
（2）编辑myid文件
vi myid
在文件中添加与server对应的编号：如2
（3）拷贝配置好的zookeeper到其他机器上
scp -r zookeeper-3.4.10/
scp -r zookeeper-3.4.10/
并分别修改myid文件中内容为2、3
（4）分别启动zookeeper
[hadoop@hadoop01 zookeeper-3.4.10]# bin/zkServer.sh start
[hadoop@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh start
[hadoop@hadoop03 zookeeper-3.4.10]# bin/zkServer.sh start
（5）查看状态
[[email protected]]# bin/zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/insatll/zookeeper-3.4.10/bin/…/conf/zoo.cfg
Mode: follower
[hadoop@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/insatll/zookeeper-3.4.10/bin/…/conf/zoo.cfg
Mode: leader
[hadoop@hadoop03 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/insatll/zookeeper-3.4.10/bin/…/conf/zoo.cfg
Mode: follower
二、Kafka集群搭建
1）解压安装包
[hadoop@hadoop01 tools]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /home/hadoop/install/
2）修改解压后的文件名称
[hadopp@hadoop01 insatll]$ mv kafka_2.11-0.11.0.0/ kafka
3）在/opt/module/kafka目录下创建logs文件夹
[hadoop@hadoop01kafka]$ mkdir logs
4）修改配置文件
[hadoop@hadoop01 kafka]$ cd config/
[hadoop@hadoop01 config]$ vi server.properties

#broker的全局唯一编号，不能重复
broker.id=0
#是否允许删除topic
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的最大缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/home/hadoop/insatll/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

5）配置环境变量
[hadoop@hadoop01 insatll]# vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/home/hadoop/insatll/kafka
export PATH=$PATH:$KAFKA_HOME/bin

[hadoop@hadoop01install]# source /etc/profile
6）分发安装包
[hadoop@hadoop01 etc]# xsync profile
[hadoop@hadoop01 insatll ]$ xsync kafka/
7）分别在hadoop02和hadoop03上修改配置文件/home/hadoop/insatll/kafka/config/server.properties中的broker.id=1、broker.id=2
注：broker.id不得重复
8）启动集群
依次在hadoop01、hadoop02、hadoop03节点上启动kafka
./bin/kafka-server-start.sh -daemon config/server.properties
9）关闭集群
[hadoop@hadoop01 kafka]$ bin/kafka-server-stop.sh stop
[hadoop@hadoop02 kafka]$ bin/kafka-server-stop.sh stop
[hadoop@hadoop03 kafka]$ bin/kafka-server-stop.sh stop
三、在启动Kafka集群之前先要启动Zookeeper集群