开源Kafka集群搭建过程
1、kafka概述
Kafka 是用于日志处理的分布式消息队列，同时支持离线和在线日志处理。kafka 对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka 集群有多个kafka 实例组成，每个实例(server)称为broker。无论是kafka集群，还是producer和consumer 都依赖于zookeeper 来保证系统可用性，为集群保存一些meta 信息。
若有任何疑问，请详细阅读（http://kafka.apache.org/）
2、基础环境准备
2.1、软件环境
本文将介绍 Redhat7.3开源搭建Kafka集群，软件版本如下：
| NO. |
软件名称 |
版本号 |
| 1. |
操作系统 |
Redhat7.3 64位 |
| 2. |
JDK |
8u131-linux-x64 |
| 3. |
Zookeeper |
3.4.10 |
| 4. |
Kafka |
kafka_2.11-2.1.0 |
2.2、配置规划
本次安装共 3 台服务器，服务器配置及用途如下：
| NO. |
机器名称 |
IP |
配置 |
| 1. |
dlcj02 |
192.168.1.142 |
48核/32G/5.5T |
| 2. |
dlcj03 |
192.168.1.143 |
48核/32G/5.5T |
| 3. |
dlcj04 |
192.168.1.144 |
48核/32G/5.5T |
2.3 软件存放目录（所有节点）
为方便软件的集中管理及减少对根目录空间的占用，在此划分统一空间对软件存放地方进行集中管理。
在142节点创建kafka、zookeeper文件夹（根据读者实际情况建立文件夹即可），如下图所示：
java：存放jdk1.8安装文件
kafka：存放kafka安装文件
zookeeper：存放zookeeper安装文件
2.4、设置映射关系（所有节点）
Redhat7修改指令为：vim /etc/hosts.此处将所有节点都加入进去。此处界面如下所示：
192.168.1.144 dlcj04
192.168.1.143 dlcj03
192.168.1.142 dlcj02
2.5、设置防火墙（所有节点）
关闭防火墙
即时生效，重启后会复原：systemctl stop firewalld
永久生效：systemctl disable firewalld
2.6、配置免密码登录 SSH（所有节点）
a.在root用户下输入ssh-keygen -t rsa 一路回车
b.秘钥生成后在~/.ssh/目录下，有两个文件id_rsa(私钥)和id_rsa.pub（公钥），将公钥复制到authorized_keys并赋予authorized_keys600权限（若没有该文件可以直接创建）。
c. 同理在dlcj03和dlcj04节点上生成秘钥，然后将秘钥复制到master节点上的authoized_keys。这个在复制时，直接使用cat命令将秘钥打印出来，然后直接将其复制到master节点上的authoized_keys即可。
d. 将dlcj02节点上的authoized_keys远程传输到dlcj03和dlcj04的~/.ssh/目录下。
e.检查是否免密登录（第一次登录会有提示）。
2.7、关闭 SELINUX（所有节点）
关闭selinux：
# setenforce 0 (临时生效)
# vim /etc/selinux/config (永久生效)
: SELINUX=disabled
2.8、安装 oracle JDK1.8 （所有节点）
将jdk-8u131-linux-x64.tar.gz包拷贝到linux系统中，并将其解压到指定目录下。然后在/etc/profile目录下添加（在proifile内容最后添加即可）:
export JAVA_HOME= /usr/lcoal/java/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar.
最后，执行命令source /etc/profile使配置文件生效，并查看java版本信息。
3、安装zookeeper
3.1 上传zookeeper到zookeeper文件夹下，并解压
tar -zxvf zookeeper-3.4.10.tar.gz -C /ies/zookeeper/
3.2 修改配置文件
进入zookeeper的conf目录下，将其zoo_sample.cfg重新复制为一份并命名为zoo.cfg,然后修改并添加以下内容：
注意：dataDir 和 dataLogDir 需要在启动前创建完成
clientPort 为 zookeeper的服务端口
3.3 创建 myid 文件
在dataDir 路径下创建一个文件名为 myid 的文件，文件内容为该 zk 节点的编号。
本例中142节点下的myid为0、143为1、 144为2
3.4 启动zookeeper
进入zookeeper安装目录下的bin文件夹执行：
各个节点执行： ./zkServer.sh start
3.5 查看zookeeper启动状态
进入zookeeper安装目录下的bin文件夹执行：
各个节点执行： ./zkServer.sh status
看到有如下进程则表明zookeeper安装成功。
4、安装kafka
4.1 上传kafka安装软件并解压到指定目录
tar -zxvf kafka_2.11-2.1.0.tgz -C /ies/kafka/
4.2 修改配置文件
进入kafka安装目录下的config，编辑server.properties，修改并添加如下内容：
4.3 启动kafka
进入到kafka安装目录下，采用后台启动的方式进行启动，命令如下：
bin/kafka-server-start.sh -daemon config/server.properties
注意：由于kafka启动是依赖于zookeeper服务的，故在启动kafka之前一定保证zookeeper正常启动。
4.4 kafka状态查看
当后台启动kafka后，可采用如下命令进行查看kafka是否正常启动：
1、jps命令
2、netstat命令
至此，整个kafka集群搭建完毕，如有疑问，请咨询博主！