KafKa集群部署手册

1 简介

1.1 简介

Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

官网： http://kafka.apache.org/
中文网： https://www.orchome.com/5

在其中我们知道如果要kafka正常运行，必须配置zookeeper，否则无论是kafka集群还是客户端的生存者和消费者都无法正常的工作的，使用需要先安装zookeeper集群：

Zookeeper下载地址：http://zookeeper.apache.org/r...

1.2 参考资料

http://kafka.apache.org/intro...
https://www.cnblogs.com/likeh...

2 集群规划

2.1 机器规划

192.168.90.225 : zookeeper + kafka
192.168.90.226 : zookeeper + kafka
192.168.90.227 : zookeeper + kafka

2.2 目录规划

mkdir /usr/local/tmp    #临时目录，用于上传压缩包
mkdir  /topinfo  # 安装目录

3 zookeeper集群

3.1 部署环境

操作系统：CentOS7 +
三台服务器：192.168.90.225/226/227
安装包： zookeeper-3.4.14.tar.gz

前置条件： jdk1.8+

3.2 安装zookeeper

3.2.1 上传zookeeper安装包

在其中一台服务器上，上传安装包：

cd  /usr/local/tmp/   # 跳转到临时目录
rz   #通过rz 上传zookeeper-3.4.14.tar.gz

3.2.2 安装

1、解压

tar  -zxvf  zookeeper-3.4.14.tar.gz  # 解压
mv  zookeeper-3.4.14  zookeeper  #重命名
mv  zookeeper/  /topinfo/  # 将解压包拷贝到指定目录

2、进入zookeeper的目录

cd  /topinfo/zookeeper/  #进入目录
ll  # 列出目录的文件列表

如图：

3、修改配置文件
进入conf目录，复制zoo_sample.cfg，并重命名为zoo.cfg

cp  zoo_sample.cfg   zoo.cfg

4、打开并修改zoo.cfg

vi  zoo.cfg

修改dataDir的存放目录， clientPort 默认保持不变，添加zookeeper的节点信息。

# dataDir 数据存放目录
dataDir= /topinfo/zookeeper/data
# the port at which the clients will connect
clientPort=2181
# zookeeper 集群的ip:lead和folw的通信端口:选举端口
# server.index 为服务的myid
server.0=192.168.90.225:2888:3888
server.1=192.168.90.226:2888:3888
server.2=192.168.90.227:2888:3888

wq!退出保存后， 创建数据的保持目录

mkdir -p /topinfo/zookeeper/data

在目录中创建myid文件（内容为0）

touch /topinfo/zookeeper/data/myid
echo 0 > /topinfo/zookeeper/data/myid 

5、把 zookeeper文件夹复制到另外两个服务器上，并创建相同的dataDir目录和myid文件。

scp -r /topinfo/zookeeper  [email protected]:/topinfo/

scp -r /topinfo/zookeeper  [email protected]:/topinfo/

注意：192.168.90.226的 myid 文件内容为 1，192.168.90.227的 myid 文件内容为 2，需要与zoo.cfg中的保持一致。

# 192.168.90.226执行
mkdir -p /topinfo/zookeeper/data
touch /topinfo/zookeeper/data/myid
echo 1 > /topinfo/zookeeper/data/myid  

# 192.168.90.227执行
mkdir -p /topinfo/zookeeper/data
touch /topinfo/zookeeper/data/myid
echo 2 > /topinfo/zookeeper/data/myid  

6、关闭防火墙

# 关闭防火墙
service iptables stop 
# 启动防火墙
service iptables start 
# 重启防火墙
service iptables restart 
# 查看防火墙状态
service iptables status

3.2.3 设置环境变量

设置环境变量

# 打开profile
vim /etc/profile

#加入以下内容
export ZK_HOME=/topinfo/zookeeper
export PATH=$ZK_HOME/bin:$PATH

#保持退出后，执行以下命令，立即生效
source /etc/profile

3.2.4 启动

进入bin目录，分别在三台机器上启动zookeeper：

zkServer.sh  start

启动成功后：
ZooKeeper JMX enabled by default
Using config: /topinfo/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

在三台服务器上执行命令，查看启动状态：

zkServer.sh status

可以查看服务器的角色：leader / follower
如：
ZooKeeper JMX enabled by default
Using config: /topinfo/zookeeper/bin/../conf/zoo.cfg
Mode: follower

3.2.5 验证

查看zookeeper的状态

4 kafka集群

4.1 部署环境

操作系统：CentOS7 +
三台服务器：192.168.90.225/226/227
安装包： kafka_2.11-2.3.0.tgz

4.2 安装kafka

4.2.1 上传kafka安装包

在其中一台服务器上，上传安装包：

cd  /usr/local/tmp/   # 跳转到临时目录
rz   #通过rz 上传

4.2.2 安装
1、解压

tar  -zxvf  kafka_2.11-2.3.0.tgz  # 解压
mv  kafka_2.11-2.3.0  kafka  #重命名
mv  kafka/  /topinfo/  # 将解压包拷贝到指定目录

2、修改server.properties
进入kafka的config目录

cd  /topinfo/kafka/config

vi  server.properties  #修改配置

修改内容如下：

# broker的id
broker.id=0
# 修改监听的地址， ip 为本机的ip
listeners=PLAINTEXT://192.168.90.225:9092
# 修改日志目录
log.dirs=/topinfo/kafka/data/kafka-logs
# 连接zookeeper集群
zookeeper.connect=192.168.90.225:2181,192.168.90.226:2181,192.168.90.227:2181
# 可删除topic
delete.topic.enable=true

3、创建对应的日志目录

mkdir  -p  /topinfo/kafka/data/kafka-logs

4、将kafka文件夹复制到另外的两个节点上

scp  -r  /topinfo/kafka/ [email protected]:/topinfo/  # 远程复制

scp  -r  /topinfo/kafka/ [email protected]:/topinfo/  # 远程复制

mkdir  -p  /topinfo/kafka/data/kafka-logs  # 另外两台上创建目录

5、创建相同的logDir目录，且修改每个节点对应的server.properties文件的broker.id:
192.168.90.225 为 1
192.168.90.227 为 2

vi  /topinfo/kafka/config/server.properties  #打开文件修改对应的broker.id

4.2.3 设置环境变量

设置环境变量

# 打开profile
vim /etc/profile

#加入以下内容
export KAFKA_HOME=/topinfo/kafka
export PATH=$KAFKA_HOME/bin:$PATH

#保持退出后，执行以下命令，立即生效
source /etc/profile

4.2.4 启动kafka

注：启动时：先启动 zookeeper，后启动 kafka；关闭时：先关闭 kafka，后关闭zookeeper

1、分别在每个节点上执行命令，启动zookeeper，如果已经启动或，则跳过

zkServer.sh  start

2、启动kafka

kafka-server-start.sh  /topinfo/kafka/config/server.properties &

4.3 测试

4.3.1 创建topic

kafka-topics.sh --create --zookeeper 192.168.90.225:2181,192.168.90.226:2181,192.168.90.227:2181 --replication-factor 3 --partitions 3 --topic test

4.3.2 显示topic信息

kafka-topics.sh --describe --zookeeper 192.168.90.225:2181,192.168.90.226:2181,192.168.90.227:2181 --topic test
 

4.3.3 列出topic

kafka-topics.sh --list --zookeeper 192.168.90.225:2181,192.168.90.226:2181,192.168.90.227:2181

4.3.4 创建生产者

在master节点上 测试生产消息

kafka-console-producer.sh  --broker-list  192.168.90.225:9092  -topic  test

4.3.5 创建消费者

在worker节点上 测试消费

kafka-console-consumer.sh --bootstrap-server 192.168.90.225:9092 -topic test --from-beginning

4.3.6 删除topic和关闭服务

删除topic

kafka-topics.sh --delete --zookeeper 192.168.90.225:2181,192.168.90.226:2181,192.168.90.227:2181 --topic test

关闭kafka服务，在三台机器上执行kafka-server-stop.sh命令：

kafka-server-stop.sh

关闭zookeeper:

zkServer.sh  stop