Linux - kafka，zookeeper集群搭建（李作强）

Zookeeper集群搭建
注:Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群(也可以用kafka自带的ZK，但不推荐)
1、软件环境（3台服务器）
10.0.20.131
10.0.20.132
10.0.20.133
1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数，允许1台挂掉 ，是否可以用偶数，其实没必要。如果有四台那么挂掉一台还剩下三台服务器，如果在挂掉一个就不行了，这里记住是超过半数。
2.Zookeeper需要依赖java环境。

2.配置及安装Zookeeper集群
1.安装jdk
$ tar zxvf jdk-8u74-linux-x64.tar.gz
$ mv jdk1.8.0_74 /usr/local/
$ ln -s /usr/local/jdk1.8.0_74 /usr/local/jdk
$ vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAV{A}_{H}OME/bin:$PATH
export CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile
$ java -version
2.下载Zookeeper
首先要注意在生产环境中目录结构要定义好，防止在项目过多的时候找不到所需的项目
#我的目录统一放在/opt下面 #首先创建Zookeeper项目目录 mkdir /opt/zookeeper #项目目录 mkdir /opt/zookeeper/zkdata #存放快照日志
mkdir /opt/zookeeper/zkdatalog #存放日志
#下载软件
cd /opt/zookeeper/
Wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
#解压软件
tar -zxvf zookeeper-3.4.10.tar.gz

3、修改配置文件
进入到解压好的目录里面的conf目录中，查看
#进入conf目录
/opt/zookeeper/zookeeper-3.4.10/conf
#查看 [[email protected]]$ ll
-rw-rw-r-- 1 1001 1001 535 Mar 23 2017 configuration.xsl
-rw-rw-r-- 1 1001 1001 2161 Mar 23 2017 log4j.properties
-rw-rw-r-- 1 1001 1001 1053 Nov 10 10:12 zoo_sample.cfg
#zoo_sample.cfg 这个文件是官方给我们的zookeeper的样板文件，给他复制一份命名为zoo.cfg，zoo.cfg是官方指定的文件命名规则。
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/zkdat
dataLogDir=/opt/zookeeper/zkdatalog
clientPort=2181
server.1=10.0.20.131:2888:3888
server.2=10.0.20.132:2888:3888
server.3=10.0.20.133:2888:3888
#server.1 这个1是服务器的标识也可以是其他的数字， 表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里 #10.0.20.131为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888。
配置文件解释：
#tickTime： 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
#initLimit： 这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 52000=10 秒
#syncLimit： 这个配置项标识 Leader 与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是52000=10秒
#dataDir： 快照日志的存储路径
#dataLogDir： 事物日志的存储路径，如果不配置这个那么事物日志会默认存储到dataDir制定的目录，这样会严重影响zk的性能，当zk吞吐量较大的时候，产生的事物日志、快照日志太多。
#clientPort： 这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。修改他的端口改大点。

创建myid文件
#server1 echo “1” > /opt/zookeeper/zkdata/myid
#server2 echo “2” > /opt/zookeeper/zkdata/myid
#server3 echo “3” > /opt/zookeeper/zkdata/myid

重要配置说明
1、myid文件和server.myid 在快照目录下存放的标识本台服务器的文件，他是整个zk集群用来发现彼此的一个重要标识。
2、zoo.cfg 文件是zookeeper配置文件 在conf目录里。
3、log4j.properties文件是zk的日志输出文件 在conf目录里用java写的程序基本上有个共同点日志都用log4j，来进行管理。
1、启动服务
#进入到Zookeeper的bin目录下
cd /opt/zookeeper/zookeeper-3.4.10/bin
#启动服务（3台都需要操作）
./zkServer.sh start
#检查服务器状态
./zkServer.sh status
通过status就能看到状态：
./zkServer.sh status
JMX enabled by default
Using config: /opt/zookeeper/zookeeper-3.4.10/bin/…/conf/zoo.cfg #配置文件
Mode: follower #他是否为领导
zk集群一般只有一个leader，多个follower，主一般是相应客户端的读写请求，而从主同步数据，当主挂掉之后就会从follower里投票选举一个leader出来。
可以用“jps”查看zk的进程，这个是zk的整个工程的main
#执行命令jps
20348 Jps 4
233 QuorumPeerMain
至此Zookeeper集群搭建完毕！下面开始kafka集群搭建。

Kafka集群搭建
1、软件环境
1、linux一台或多台，大于等于2
2、已经搭建好的zookeeper集群
3、软件版本kafka_2.12-0.10.2.1.tgz
2、创建目录并下载安装软件&添加环境变量

#创建目录
mkdir /opt/kafka
#创建项目目录
mkdir /opt/kafka/kafkalogs
#创建kafka消息目录，主要存放kafka消息
#下载软件
cd /opt/kafka/
wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz
#解压软件
tar -zxvf kafka_2.12-0.10.2.1.tgz
#添加环境变量在/etc/profile文件下增加　
export KAFKA_HOME=/opt/kafka/kafka_2.12-0.10.2.1　
export PATH=$KAFK{A}_{H}OME/bin:$PATH
使用source /etc/profile使配置生效

3、修改配置文件进入到config目录
cd /opt/kafka/kafka_2.12-0.10.2.1/config/
主要关注：server.properties 这个文件即可，我们可以发现在目录下：
有很多文件，这里可以发现有Zookeeper文件，我们可以根据Kafka内带的zk集群来启动，但是建议使用独立的zk集群
-rw-r–r-- 1 root root 906 Apr 22 2017 connect-console-sink.properties
-rw-r–r-- 1 root root 909 Apr 22 2017 connect-console-source.properties
-rw-r–r-- 1 root root 2760 Apr 22 2017 connect-distributed.properties
-rw-r–r-- 1 root root 883 Apr 22 2017 connect-file-sink.properties -
rw-r–r-- 1 root root 881 Apr 22 2017 connect-file-source.properties
-rw-r–r-- 1 root root 1074 Apr 22 2017 connect-log4j.properties
-rw-r–r-- 1 root root 2061 Apr 22 2017 connect-standalone.properties
-rw-r–r-- 1 root root 1199 Apr 22 2017 consumer.properties
-rw-r–r-- 1 root root 4369 Apr 22 2017 log4j.properties
-rw-r–r-- 1 root root 1900 Apr 22 2017 producer.properties
-rw-r–r-- 1 root root 5766 Nov 10 12:46 server.properties
-rw-r–r-- 1 root root 1032 Apr 22 2017 tools-log4j.properties
-rw-r–r-- 1 root root 1023 Apr 22 2017 zookeeper.properties

修改server.properties配置文件：
broker.id=0
listeners=PLAINTEXT://10.0.20.131:9092 #kafka监听地址
num.network.threads=3 #这个是borker进行网络处理的线程数
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168 log.retention.check.interval.ms=300000 zookeeper.connect=10.0.20.131:2181,10.0.20.132:2181,10.0.20.133:2181 #设置zookeeper的连接端口 message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
zookeeper.connection.timeout.ms=6000 #连接zookeeper的超时时间

1、启动服务
#从后台启动Kafka集群（3台都需要启动）
kafka-server-start.sh -daemon /opt/kafka/kafka_2.12-0.10.2.1/config/server.properties
2、检查服务是否启动
#执行命令jps
20348 Jps 4
233 QuorumPeerMain
18991 Kafka3、

创建Topic来验证是否创建成功更多请看官方文档：http://kafka.apache.org/documentation.html
#创建Topic
kafka-topics.sh --create --zookeeper 10.0.20.131:2181 --replication-factor 2 --partitions 1 --topic shuaige
#解释 --replication-factor 2 #
复制两份 --partitions 1
#创建1个分区 --topic
#主题为shuaige
‘’‘在一台服务器上创建一个发布者’’’
#创建一个broker，发布者
kafka-console-producer.sh --broker-list 10.0.20.131:9092 --topic shuaige
‘’‘在一台服务器上创建一个订阅者’’’
kafka-console-consumer.sh --zookeeper 10.0.20.132:2181 --topic shuaige --from-beginning
测试（在发布者那里发布消息看看订阅者那里是否能正常收到~）：
4、其他命令大部分命令可以去官方文档查看
4.1、查看topic
kafka-topics.sh --list --zookeeper 10.0.20.131:2181 #就会显示我们创建的所有topic
4.2、查看topic状态
kafka-topics.sh --describe --zookeeper 10.0.20.121:2181 --topic shuaige
#下面是显示信息
Topic:ssports PartitionCount:1 ReplicationFactor:2 Configs:
Topic: shuaige Partition: 0 Leader: 1 Replicas: 0,1 Isr: 1
#分区为为1 复制因子为2 他的 shuaige的分区为0
#Replicas: 0,1 复制的为0，1