大数据（三十）：zookeeper集群与kafka集群部署

一、安装Zookeeper

1.集群规划

在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

2.解压安装

       1.解压zookeeper安装包到/usr/local/目录下

tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/

       2.在/usr/local/zookeeper-3.4.10/这个目录下创建zkData

mkdir -p zkData

       3.重命名/usr/local/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

mv zoo_sample.cfg zoo.cfg

3.配置zoo.cfg文件

        1.具体配置（如果没有配置hosts，需要使用ip地址来代替）

dataDir=/usr/local/zookeeper-3.4.10/zkData
#######################增加如下配置cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

        2.配置参数解读

Server.A=B:C:D。

        A是一个数字，表示这个是第几号服务器；

        B是这个服务器的ip地址；

        C是这个服务器与集群中的Leader服务器交换信息的端口；

        D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

        集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

4.集群操作

        1.在/usr/local/zookeeper-3.4.10/zkData目录下创建一个myid的文件

touch myid

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

        2.编辑myid文件

vi myid

在文件中添加与server对应的编号：如2

        3.拷贝配置好的zookeeper到其他机器上（需要配置好ssh，如果没有可以手动复制）

scp -r zookeeper-3.4.10/ root@hadoop103:/usr/local/
scp -r zookeeper-3.4.10/ root@hadoop104:/usr/local/

并分别修改myid文件中内容为3、4

        4.分别启动zookeeper （每一个服务器上都要启动）

bin/zkServer.sh start

        5.查看状态

bin/zkServer.sh status

JMX enabled by default

Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: follower

 

二、Kafka集群部署

1.解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local

2.修改解压后的文件名称

mv kafka_2.11-0.11.0.0/ kafka

3.在/usr/local/kafka目录下创建logs文件夹

mkdir logs

4.修改配置文件

cd config/
vi server.properties

输入以下内容：

#broker的全局唯一编号，不能重复
broker.id=0
#是否允许删除topic
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的最大缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/usr/local/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5.配置环境变量

        1.修改配置文件

vi /etc/profile

        2.添加以下内容

#KAFKA_HOME
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

        3.更新环境变量

source /etc/profile

6.分发安装包，将配置文件和kafka程序拷贝到其他两个服务器上

7.分别在hadoop103和hadoop104上修改配置文件/usr/local/kafka/config/server.properties中的

broker.id=1、broker.id=2

       注：broker.id不得重复

8.启动集群

依次在hadoop102、hadoop103、hadoop104节点上启动kafka

bin/kafka-server-start.sh config/server.properties &

9.关闭集群

bin/kafka-server-stop.sh stop