zookeeper集群+kafka集群

zookeeper集群+kafka集群：

kafka在3.0之前要依赖zookeeper集群

zookeeper是一个开源分布式的架构，提供协调服务（apach项目）

基于观察者模式涉及的分布式管理架构。

存储和管理数据。分布式节点上的服务接受观察者的主从。一旦分布式节点上的数据发送变化，由zookeeper开负责通知分布式节点上是服务。互相监督数据，主要用于大数据场景。

zookeeper：分为领导者 追随者 leader follower组成的集群

只要有一半以上的集群存活，zookeeper集群就可以正常工作。适用于安装奇数态的服务集群。

全局数据一致，每个节点都保存相同的数据。维护监控服务的数据一致。

数据更新的原子性。要么都成功，要么一起失败。

实时性，只要有变化，立刻同步。

zookeeper应用场景：

1，统一命名服务，在分布式环境下对所有的应用和服务进行统一命名。

2，统一配置管理，配置文件同步，kafka的配置文件被修改，可以快速同步到其他节点。

3，统一集群管理，实时掌握所有节点的状态。

4，服务器动态上下线。

5，负载均衡，把服务服务器的数据，发送到访问最少的服务器处理客户端的请求。

领导者和追随者：zookeeper选举机制。

三台服务器：A B C

A 先启动，发起第一次选举，投票给自己，只要1票，不满半数，A的状态是looking

B 启动，再发起一次选举，A和B分别投自己一票，交换选票消息，myid，A发现B的myid比A大，A的这一票转而投给B A 0 B 2没有半数以上的结果，AB会进入looking B有可能成为leader

C启动 MYID c的myid最大A和B都会把票投给CA0B0C3

C的状态变为leader,A和B变成follower。

D myid4

只要leader确定，后续的服务器都是追随者。

只有两种情况会开启选举机制：

1，初始化的情况会产生选举

2，服务器之间和leader失去了连接状态。

leader已经存在，建立连接即可

leader不存在

1、服务器ID大的胜出。

2、EPOCH大， 直接胜出

3、EPOCH相同,事务ID大的胜出。

EPOCH 每个leader任期的代号，没有leader，大家的逻辑地址相同，每一次投完之后，数据是递增。

事务id，表示服务器的每一次变更，每变更一次id变化一次。

服务器id，zookeeper集群当中的机器都有一个ID，每台机器不重复，和myid保持- 致。

zookeeper+kafka（2.7.0）

zookeeper+kafka(2.7.0) 实现过程: .

1、zookeeper集群

2核4G

192.168.233.10 zookeeper+kafka

192.168.233.20 zookeeper+kafka

192.168.233.30 zookeeper+kafka

更新java环境

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

java -version

安装 Zookeeper

cd /opt

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz

mv apache-zookeeper-3.5.7-bin /opt/zookeeper

修改配置文件

cd /opt/zookeeper/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

tickTime=2000 #通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒

initLimit=10 #Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量），这里表示为10*2s

syncLimit=5 #Leader和Follower之间同步通信的超时时间，这里表示如果超过52s，Leader认为Follwer死掉，并从服务器列表中删除Follwer

dataDir=/opt/zookeeper/data ●修改，指定保存Zookeeper中的数据的目录，目录需要单独创建

dataLogDir=/opt/zookeeper/logs ●添加，指定存放日志的目录，目录需要单独创建

添加集群信息

server.1=192.168.176.10:3188:3288

server.2=192.168.176.50:3188:3288

server.3=192.168.176.60:3188:3288

server.1=192.1 68.233.10:3188:3288

1每个zookeeper集群的初始myid。

192.1 68.233.10 IP地址

3188 内部通信的端口

3288 一旦leader丢失响应，开启选举。3288

就是用来执行选举时的服务器之间通信端口。

在每个节点上创建数据目录和日志目录

mkdir /opt/zookeeper/data

mkdir /opt/zookeeper/logs

每一个对应写入

在每个节点的dataDir指定的目录下创建一个 myid 的文件,不同节点分配1、2、3

echo 1 > /opt/zookeeper/data/myid

echo 2 > /opt/zookeeper/data/myid

echo 3 > /opt/zookeeper/data/myid

配置 Zookeeper 启动脚本

vim /etc/init.d/zookeeper

编写脚本

#!/bin/bash

#chkconfig:2345 20 90

#description:Zookeeper Service Control Script

ZK_HOME='/opt/zookeeper'

case $1 in

start)

echo "---------- zookeeper 启动 ------------"

$ZK_HOME/bin/zkServer.sh start

;;

stop)

echo "---------- zookeeper 停止 ------------"

$ZK_HOME/bin/zkServer.sh stop

;;

restart)

echo "---------- zookeeper 重启 ------------"

$ZK_HOME/bin/zkServer.sh restart

;;

status)

echo "---------- zookeeper 状态 ------------"

$ZK_HOME/bin/zkServer.sh status

;;

*)

echo "Usage: $0 {start|stop|restart|status}"

esac

设置开机自启

chmod +x /etc/init.d/zookeeper

chkconfig --add zookeeper

分别启动 Zookeeper

service zookeeper start

查看当前状态

service zookeeper status

消息队列 kafka

为什么要引入消息队列（MQ），他也是一个中间件。在高并发环境下，同步请求来不及处理。来不及处理的请求会形成阻塞。

比方是数据库就会形成行锁或者表锁，请求数满了，超标了，too many connection.整个系统雪崩。

消息队列的作用：异步处理处理请求。

流量消峰，应用解耦。可恢复性。异步通信。

解耦：

耦合：在软件系统中，修改一个组件需要修改其他组件，高度耦合。

低度耦合：修改其他组件，对其他组件影响不大。无需修改所有。

A B C

只要通信保证，其他的修改不影响整个集群，每个组件可以独立的扩展，修改，降低组件之间的依赖性。

依赖点就是接口约束，通过不同的端口，保证集群通信。

可恢复性，系统当中有一部分组件消失，不影响整个系统。也就是说在消息队列当中，即使有一个处理消息的进程失败，一旦恢复还可以重新加入到队列当中 ，继续处理信息。

缓冲：可以控制和优化数据经过系统的时间和速度。解决生产信息和消费消息处理速度不一致的问题。

峰值的处理能力：消息队列在峰值的情况之下，能够顶住突发的访问压力。避免专门为了突发情况而对系统进行修改。

异步通信：影响用户把一个消息放入队列，但是不立即处理，等用户想处理的时候再处理。

消息队列的模式：

点对点 一对一：消息的生产者发送消息到队列中，消费者从队列中提取消息将会被移除。后续消费者不能再消费队列当中的消息。消息队列可以有多个消费者，但是一个消息，只能有一个消费者提取。

分别发布/订阅模式：以对多，又叫观察者模式。消费者提取数据之后，队列当中的消息不会被清除。

生产者发布一个消息到主题，所有消费者都是通过主题获取消息

主题：topic topic类似于一个数据流的管道，生产者把消息发布到主题。消费者从主题当中订阅数据。主题可以分区，每个分区都有自己的偏移量。

分区：partition每个主题都可以分成多个分区。每个分区是数据的有序子集，分区可以允许kafka今年初水平扩展。以处理大量数据。

消息再分钟按照偏移量存储，消费者可以独立读取每个分区的数据。

偏移量：是，诶个消息在分区中唯一的标识。身份证可以通过偏移量来获取已读或者未读消息的位置，可以提交偏移量来记录已处理的消息。

生产者：producer 生产者把数据发送kafka的主题当中，负责写入消息

消费者：consumer从主题当中读取数据，可以是一个，也可以是多个。每个消费者有一个唯一的组ID，kafka通过消费者实现负载均衡和容错性

经纪人：broker每个kafka节点都有一个borker，每个负责一台kafka服务器，id唯一，存储主题分区当中的数据，处理和生产消费者的请求。以及维护元数据（3.0之前zookeeper）

zookeeper负责保存元数据，元数据就是topic的相关信息（发在哪台主机上，知道了多少分区，以及副本数，偏移量。）

zookeeper自建一个注意：_consumer_offset

3.0以后不依赖zookeeper的核心，元数据由kafka节点自己管理。

kafka的工作流程：

生产者写入topic的数据是持久化的，默认是7小时。

至少一次语义：只要消费者进入，确保信息至少被消费一次。

实验：

java环境

安装Kafka

cd /opt/

tar zxvf kafka_2.13-2.7.0.tgz

mv kafka_2.13-2.7.0 kafka/

修改环境变量日志段是主题分区日志文件的一部分。

vim /etc/profile

最后一行添加：

export KAFKA_HOME=/opt/kafka

export PATH=$PATH:$KAFKA_HOME/bin

立即生效：

source /etc/profile

修改配置文件

cd /usr/local/kafka/config/

改主配置文件：

vim server.properties

改经纪人id

如果修改了id 28行可以不改

broker.id=0 ●21行，broker的全局唯一编号，每个broker不能重复，因此要在其他机器上配置 broker.id=1、broker.id=2

listeners=PLAINTEXT://192.168.80.10:9092 ●31行，指定监听的IP和端口，如果修改每个broker的IP需区分开来，也可保持默认配置不用修改

num.network.threads=3 #42行，broker 处理网络请求的线程数量，一般情况下不需要去修改

num.io.threads=8 #45行，用来处理磁盘IO的线程数量，数值应该大于硬盘数

socket.send.buffer.bytes=102400 #48行，发送套接字的缓冲区大小

socket.receive.buffer.bytes=102400 #51行，接收套接字的缓冲区大小

socket.request.max.bytes=104857600 #54行，请求套接字的缓冲区大小

log.dirs=/var/log/kafka #60行，kafka运行日志存放的路径，也是数据存放的路径

num.partitions=1 #65行，topic在当前broker上的默认分区个数，会被topic创建时的指定参数覆盖

num.recovery.threads.per.data.dir=1 #69行，用来恢复和清理data下数据的线程数量

log.retention.hours=168 #103行，segment文件（数据文件）保留的最长时间，单位为小时，默认为7天，超时将被删除

log.segment.bytes=1073741824 #110行，一个segment文件最大的大小，默认为 1G，超出将新建一个新的segment文件

#Kafka 以日志文件的形式维护其数据，而这些日志文件被分割成多个日志段。当一个日志段达到指定的大小时，就会创建一个新的日志段。

配置连接Zookeeper集群地址

zookeeper.connect=192.168.176.10:2181,192.168.176.50:2181,192.168.176.60:2181

kafka默认不允许删除主题

每一台配置一下

配置 Zookeeper 启动脚本

vim /etc/init.d/kafka

#!/bin/bash

#chkconfig:2345 22 88

#description:Kafka Service Control Script

KAFKA_HOME='/opt/kafka'

case $1 in

start)

echo "---------- Kafka 启动 ------------"

${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties

;;

stop)

echo "---------- Kafka 停止 ------------"

${KAFKA_HOME}/bin/kafka-server-stop.sh

;;

restart)

$0 stop

$0 start

;;

status)

echo "---------- Kafka 状态 ------------"

count=$(ps -ef | grep kafka | egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then

echo "kafka is not running"

else

echo "kafka is running"

fi

;;

*)

echo "Usage: $0 {start|stop|restart|status}"

esac

设置开机自启

chmod +x /etc/init.d/kafka

chkconfig --add kafka

分别启动 Kafka

service kafka start

netstat -antp | grep 9092

启动完成。

先做地址映射：

hostnamectl set-hostname test1

vim /etc/hosts

192.168.176.10 test1

192.168.176.50 test2

192.168.176.60 test3

创建主题：

所有kafka的命令都在bin命令下执行

cd /bin

1，创建主题test1

必须要分区和副本1个就可以

kafka-topics.sh --create --zookeeper 192.168.176.10:2181,192.168.176.50:2181,192.168.176.60:2181 --replication-factor 2 --partitions 3 --topic cc

创建主题：

1、在kafka的bin目录下，是所有的kafka可执行命令文件

2、--zookeeper 指定的是zookeeper的地址和端口，保存kafka的元数据

3、--replication-factor 2 定义每个分区的副本数

4、partitions 3 指定主题的分区数

5、--topic test1 指定主题的名称。

2，查看详情信息：

查看当前服务器中的所有 topic

kafka-topics.sh --list --zookeeper 192.168.176.10:2181,192.168.176.50:2181,192.168.176.60:2181

名字：cc

只看test2 --topic test2

查看某个 topic 的详情

kafka-topics.sh --describe --zookeeper 192.168.176.10:2181,192.168.176.50:2181,192.168.176.60:2181 --topic cc

Partition：分区编号

Leader：每个分区都有一个领导者（Leader），领导者负责处理分区的读写操作。

在上述输出中，领导者的编号分别为 3、1、3。

Replicas：每个分区可以有多个副本（Replicas），用于提供冗余和容错性。

在上述输出中，Replica 3、1、2 分别对应不同的 Kafka broker。

Isr：ISR（In-Sync Replicas）表示当前与领导者保持同步的副本。

ISR 3、1分别表示与领导者同步的副本。

3，发布消息

kafka-console-producer.sh --broker-list 192.168.176.10:9092,192.168.176.50:9092,192.168.176.60:9092 --topic cc

4，消费消息。

全部获取

kafka-console-consumer.sh --bootstrap-server 192.168.176.10:9092,192.168.176.50:9092,192.168.176.60:9092 --topic chen --from-beginning

如何实时获取：

kafka-console-consumer.sh --bootstrap-server 192.168.176.10:9092,192.168.176.50:9092,192.168.176.60:9092 --topic cc

订阅谁。消费谁，不同主题之间的消息隔离。

5，修改分区数

kafka-topics.sh --zookeeper 192.168.176.10:2181,192.168.176.50:2181,192.168.176.60:2181 --alter --topic test1 --partitions 6

6，删除

删除 topic

kafka-topics.sh --delete --zookeeper 192.168.176.10:2181,192.168.176.50:2181,192.168.176.60:2181 --topic test1

只是marked不是彻底删除

1、zookeeper: 主要是分布式，观察者模式，统一各个服务器节点的数据。

在kafka当中，收集保存kafka的元数据。

2、kafka消息队列订阅发布模式

RABBIT MQ (实现rabbit MQ消息队列)