Kafka02：Kafka安装部署：单机安装部署、集群安装部署

前面我们对Kafka有了一个基本的认识，下面我们就想使用一下Kafka
在使用之前，需要先把Kafka安装部署起来
Kafka是支持单机和集群模式的，建议大家在学习阶段使用单机模式即可，单机和集群在操作上没有任何区别。

注意：由于Kafka需要依赖于Zookeeper，所以在这我们需要先把Zookeeper安装部署起来。

一、Zookeeper安装部署

1、Zookeeper单机安装

Zookeeper02：Zookeeper安装部署【单机】

2、Zookeeper集群安装

Zookeeper03：Zookeeper安装部署【集群】

zookeeper集群安装好了以后就可以开始安装kafka了。

注意：在安装kafka之前需要先确保zookeeper集群是启动状态。

kafka还需要依赖于基础环境jdk，需要确保jdk已经安装到位。

二、Kafka单机安装

1：下载kafka安装包

最终下载链接如下：

kafka_2.12-2.4.1.tgz

百度网盘地址：

链接：https://pan.baidu.com/s/1SQWhcvIOFgn9H-by0DnTyw?pwd=qbmg 
提取码：qbmg 

注意：kafka在启动的时候不需要安装scala环境，只有在编译源码的时候才需要，因为运行的时候是在jvm虚拟机上运行的，只需要有jdk环境就可以了.

2：把kafka安装包上传到bigdata01的/data/soft目录下

[root@bigdata01 soft]# ll
-rw-r--r--.  1 root root   62358954 Jun  2 21:22 kafka_2.12-2.4.1.tgz

3：解压

[root@bigdata01 kafka_2.12-2.4.1]# tar -zxvf kafka_2.12-2.4.1.tgz

4：修改配置文件

主要参数：

broker.id：集群节点id编号，单机模式不用修改
listeners：默认监听9092端口
log.dirs：注意：这个目录不是存储日志的，是存储Kafka中核心数据的目录，这个目录默认是指向的tmp目录，所以建议修改一下
zookeeper.connect：kafka依赖的zookeeper

针对单机模式，如果kafka和zookeeper在同一台机器上，并且zookeeper监听的端口就是那个默认的2181端口，则zookeeper.connect这个参数就不需要修改了。
只需要修改一下log.dirs即可

[root@bigdata01 kafka_2.12-2.4.1]# cd kafka_2.12-2.4.1/config/
[root@bigdata01 config]# vi server.properties
log.dirs=/data/soft/kafka_2.12-2.4.1/kafka-logs

5：启动kafka

[root@bigdata01 kafka_2.12-2.4.1]# bin/kafka-server-start.sh -daemon config/server.properties 

6：验证

启动成功之后会产生一个kafka进程

[root@bigdata01 kafka_2.12-2.4.1]# jps
2230 QuorumPeerMain
3117 Kafka
3182 Jps

7：停止kafka

[root@bigdata01 kafka_2.12-2.4.1]# bin/kafka-server-stop.sh 

三、Kafka集群安装

1：集群节点规划，使用三个节点搭建一个kafka集群

bigdata01
bigdata02
bigdata03

注意：针对Kafka集群而言，没有主从之分，所有节点都是一样的。

2：首先在bigdata01节点上配置kafka

（1）解压：

[root@bigdata01 soft]# tar -zxvf kafka_2.12-2.4.1.tgz

修改配置文件

注意：此时针对集群模式需要修改 broker.id、log.dirs、以及zookeeper.connect

broker.id的值默认是从0开始的，集群中所有节点的broker.id从0开始递增即可
所以bigdata01节点的broker.id值为0

log.dirs的值建议指定到一块存储空间比较大的磁盘上面，因为在实际工作中kafka中会存储很多数据，我这个虚拟机里面就一块磁盘，所以就指定到/data目录下面了

zookeeper.connect的值是zookeeper集群的地址，可以指定集群中的一个节点或者多个节点地址，多个节点地址之间使用逗号隔开即可

[root@bigdata01 soft]# cd kafka_2.12-2.4.1/config/
[root@bigdata01 config]# vi server.properties
broker.id=0
log.dirs=/data/kafka-logs
zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181

3：将修改好配置的kafka安装包拷贝到其它两个节点

[root@bigdata01 soft]# scp -rq kafka_2.12-2.4.1 bigdata02:/data/soft/
[root@bigdata01 soft]# scp -rq kafka_2.12-2.4.1 bigdata03:/data/soft/

4：修改bigdata02和bigdata03上kafka中broker.id的值

首先修改bigdata02节点上的broker.id的值为1

[root@bigdata02 ~]# cd /data/soft/kafka_2.12-2.4.1/config/
[root@bigdata02 config]# vi server.properties 
broker.id=1

然后修改bigdata03节点上的broker.id的值为2

[root@bigdata03 ~]# cd /data/soft/kafka_2.12-2.4.1/config/
[root@bigdata03 config]# vi server.properties 
broker.id=2

5：启动集群

分别在bigdata01、bigdata02、bigdata03上启动kafka进程

（1）在bigdata01上启动

[root@bigdata01 kafka_2.12-2.4.1]# bin/kafka-server-start.sh -daemon config/server.properties

（2）在bigdata02上启动

[root@bigdata02 kafka_2.12-2.4.1]# bin/kafka-server-start.sh -daemon config/server.properties

（3）在bigdata03上启动

[root@bigdata03 kafka_2.12-2.4.1]# bin/kafka-server-start.sh -daemon config/server.properties

6：验证

分别在bigdata01、bigdata02、bigdata03上执行jps命令验证是否有kafka进程
如果都有就说明kafka集群启动正常了