Kafka3.0之前依赖于zookeeper
zookeeper是一个开源分布式的架构,提供协调服务(Apache项目)
基于观察者模式涉及的分布式服务管理架构
主要作用是:存储和管理数据,分布式节点上的服务接受观察者的注册,一旦分布式节点上的数据发生变化,由zookeeper负责通知分布式节点上的服务
核心图:
Zookeeper:分为领导者 追随者 leader follwer组成的集群
领导者和追随者:zookeeper的选举机制
三台服务器为例: A B C
A先启动,发起第一次选举,投票投给自己,只有一票,不满半数,A的状态是looking
B启动,再发起一次选举,A和B分别投自己一票,交换选票信息,myid,A发现B的myid比A大,A的这一票转而投给B A 0 B 2没有半数以上的结果,AB进入looking
C启动 MYID c的myid最大,A和B都会把票投给C A 0 B 0 C 3
C的状态变为leader,A和B变成follower
只要leader确定,后续的服务器都是追随者,
只有两种情况会重新开始选举机制:
Leader存在,leader建立连接即可
Leader不存在,leader
EPOCH每个leader任期的代号,没有leader,大家的逻辑地址相同,每一次投完一次之后,数据都是递增
事务ID,表示服务器的每一次变更,没变更一次事务ID变化一次
服务器ID,zookeeper集群当中的机器都有一个ID,而且每台机器不重复,和myid保持一致
Kafka3.4.1版本之前依附于zookeeper,而后的不用
实现:Zookeeper+kafka(2.7.0版本)
20.0.0.51 zookeeper+kafka
20.0.0.52 zookeeper+kafka
20.0.0.53 zookeeper+kafka
升级Java环境
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
查看版本
java -version
解压改名
修改配置文件
vim zoo.cfg
tickTime=2000
initLimit=10
sysncLimit=5
15行添加
末行定义所有集群的信息
192.168.233.10:服务器的ip地址
3188:领导者和追随者之间交换信息的端口(内部通信的端口)
3288:一旦leader丢失响应,开始选举,3288就是用来选举时的服务器之间通信端
单独创建添加的数据目录
关闭同步选项,添加myid编号
再次打开同步工具,写一个启动脚本
vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/opt/zookeeper'
case $1 in
start)
echo "---------- zookeeper 启动 ------------"
$ZK_HOME/bin/zkServer.sh start
;;
stop)
echo "---------- zookeeper 停止 ------------"
$ZK_HOME/bin/zkServer.sh stop
;;
restart)
echo "---------- zookeeper 重启 ------------"
$ZK_HOME/bin/zkServer.sh restart
;;
status)
echo "---------- zookeeper 状态 ------------"
$ZK_HOME/bin/zkServer.sh status
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
esac
给三个脚本执行权限
chmod +x /etc/init.d/zookeeper
把脚本加入系统服务,让其识别
chkconfig --add zookeeper
分别启动三台zookeeper
service zookeeper start
service zookeeper status
三台会zookeeper会选举出一个主
Zookeeper安装已经全部完成,他只是一个kafka的依赖环境
为什么要引入消息队列(MQ),他也是一个中间件,在高并发环境下,同步请求来不及处理的请求会形成阻塞,比方说数据库就会形成行锁或者表锁。请求线程满了,超标了,会报too many connection,导致整个系统雪崩
消息队列的作用:异步处理请求,流量削峰和应用解耦
短信验证码就是典型的消息队列
消息队列的特点:
解耦:
耦合:在软件系统当中,修改一个组件需要修改所有其他组件,高度耦合
低度耦合:修改其中一个组件,对其他组件影响不大,无需修改所有
例如ABC,只要通信保证,其他的修改不影响整个集群,每个组件可以独立的扩展,修改,降低组件之间的依赖性
依赖点就是接口约束,通过不同的端口,保证集群通信
可恢复性:系统当中有一部分组件消失,不影响整系统,也就是说在消息队列当中,即使有一个处理消息的进程失败,一旦恢复还可以重新加入到队列当中,继续处理消息
缓冲:可以控制和优化数据经过系统的时间和速度,解决生产消息和消费消息处理速度不一致的问题
峰值的处理能力:消息对列在峰值情况之下,能够顶住突发的访问压力,避免专门为了突发情况而对系统进行修改
异步通信(核心):允许用户把一个消息放入队列,但是不立即处理,等用户想处理的时候处理
消息队列的模式:
点对点一对一:消息的生产者发送消息到队列中,消费者从队列当中提取消息,消费者提取完之后,对列中被提取的消息将会被移除,后需消费者不能再消费对列当中的消息,消息队列可以有多个消费者,但是一个消息,只能有一个消费者提取
RABBITMQ
发布/订阅模式(默认模式):一对多,又叫观察者模式,消费者提取数据之后,队列当中的消息不会被清除,生产者发布一个消息到主题,所有消费者都是通过主题获取消息
主题:topic topic类似于一个数据流的管道,生产者把消息发布到主题,消费者从主题当中订阅数据,主题可以分区,每个分区都有自己的偏移量
分区:partition 每个主题都可以分为多个分区,每个分区是数据的有序子集,分区可以允许kafka进行水平拓展,消息在分钟安装偏移量存储,消费者可以独立读取每个分区的数据
偏移量:是每个消息在分区中唯一的标识,消费者可以通过偏移量来跟踪获取已读或未读的消息的位置,也可以提交偏移量来记录处理信息
分区偏移量核心图:通过偏移量查找数据,例如从2偏移量查找20数据
生产者:producer生产者把数据发生到kafka的主题当中,负责写入消息
消费者:customer从主题当中读取数据,消费者可以是一个也可以是多个,每个消费者有一个唯一的消费组ID,kafka通过消费者实现负载均衡和兼容性
经纪人:broker每个kafka节点都有一个broker,每个负责人一台kafka服务器,ID唯一,存储主题分区当中数据,处理生产和消费和消费者的请求,维护元数据(通过zookeeper)
Zookeeper:zookeeper负责保存元数据,元数据就是topic的相关信息(发在哪台主机上,制指定了多少分区,以及副本数,偏移量)
Zookeeper自建一个注意:_consumer_offsets (3.0版本之前)
3.0之后不依赖zookeeper的核心 元数据由kafka节点自己管理
核心就是:主题,分区,偏移量
核心图:
生产者写入的topic的数据是持久化的,默认是7小时
至少一次语义:只要消费者进入,确保消息至少被消费一次(类似于发送短信验证,只要消费者来了,就会给你数据消费)
解压改名
全局配置声明
vim /etc/profile
source /etc/profile
末行添加
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin
修改配置文件:
关闭同步操作:
51 52 53 经纪人ID不能一样
声明了经纪人ID这里可以不改
num.network.thread=3
num.io.thread=8
socket.send.buffer.bytes=102400
socket.recieve.buffer.bytes=102400 套接字就是端口
socket.request.buffer.bytes=102400
Log.dirs=/var/log/kafka 日志路径
num.partitions=1
num.recovery.threads.per.date.dir=1
log.retention.hourse=168
生产者发布的数据文件在主题当中保存的 时间。168小时,默认就是七天
指定zookeeper集群
另外两台只需改ip和日志目录
启动kafka的脚本
vim /etc/init.d/kafka
#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/opt/kafka'
case $1 in
start)
echo "---------- Kafka 启动 ------------"
${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
echo "---------- Kafka 停止 ------------"
${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
$0 stop
$0 start
;;
status)
echo "---------- Kafka 状态 ------------"
count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
echo "kafka is not running"
else
echo "kafka is running"
fi
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
esac
chmod +x /etc/init.d/kafka
chkconfig --add kafka
netstat -antp | grep 9092
service kafka start
Kafka创建主题:
Kafka的命令全在bin目录下,要去bin目录下执行命令
创建kafka主题
kafka-topics.sh --create --zookeeper 20.0.0.51:2181,20.0.0.52:2181,20.0.0.53:2181 --replication-factor 2 --partitions 3 --topic wangdefu
创建主题:
查看主题详细信息
kafka-topics.sh --describe --zookeeper 20.0.0.51:2181,20.0.0.52:2181,20.0.0.53:2181
查看指定主题详细信息
kafka-topics.sh --describe --zookeeper 20.0.0.51:2181,20.0.0.52:2181,20.0.0.53:2181 --topic wangdefu
Partition:分区编号
Leader:每个分区都有一个领导者(Leader),领导者负责处理分区的读写操作。
在上述输出中,领导者的编号分别为 3、1、3。
Replicas:每个分区可以有多个副本(Replicas),用于提供冗余和容错性。
在上述输出中,Replica 3、1、2 分别对应不同的 Kafka broker。
Isr:ISR(In-Sync Replicas)表示当前与领导者保持同步的副本。
ISR 3、1分别表示与领导者同步的副本。
做主机映射(三台都要做):
发布消息(随机选一台发送):
kafka-console-producer.sh --broker-list 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9092 --topic wangdefu
随机一台消费:(从头开始)
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9092 --topic wangdefu --from-beginning
如何实时获取:
生产者写
kafka-console-producer.sh --broker-list 20.0.0.51:9090.0.0.52:9092,20.0.0.53:9092 --topic wangdefu
消费者
kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9092 --topic wangdefu
不同主机订阅了不同的主题,互不影响,相互隔离:
创建主题必须要分区,必须要有副本数
重新创一个topic
kafka-topics.sh --create --zookeeper 20.0.0.52:2181 --replication-factor 1 --partitions 1 --topic wangdefu1
Test3创一个
订阅wangdefu1:
创建发布信息,生产者:
kafka-console-producer.sh --broker-list 20.0.0.52:9092 --topic wangdefu1
消费者
验证wangdefu2
生产者发布信息:
kafka-console-producer.sh --broker-list 20.0.0.52:9092 --topic wangdefu2
消费者:
修改分区数,以及删除topic
在bin目录里面,修改,在创建的基础上命令改
查看详情
删除主题
这只是打上了删除的标签,并没有删除,kafka默认是不允许删除topic的
如何进入zookeeper查看内部保存的元数据信息
./zkCli.sh -server 20.0.0.52:2181
进入broken目录
进入topic查看详情
总结:
注意,这个版本还是要zookeeper这个组件
首先需要安装zookeeper环境
安装kafka3.4.1(和安装2.7.0几乎相同)
将这个取消注释,但是要后面要加上IP+端口,后续可以不用主机映射了
添加zookeeper
添加最后内容
Kafka3.2.7的版本和2.7.0一模一样,就是后面创建主题什么的,稍有不同
注意一切kafka的操作都要在bin目录
创建主题命令不一样:
查看主题命令也不一样:
查看详情也不一样:
发布消息和消费消息两个版本都一样
生产者
消费者
如何两个终端分别创建主题
分别两个终端创建
在任意节点,可以任意创建其他的ip
消费者消费
补充
用集群的方式来收(也是可以收到,因为还是依赖于zookeeper来管理集群)
核心图:
修改filebeat配置文件
两个out注释,我们上面自己定output
vim filebeat.yml
启动发送看日志
接收脚本
codec => "json"
解析json格式的代码
auto_offset_reset => "earliest"
从头拉去,latest
decorate_events => true
传递给es实例中的信息包含kafka的属性数据
启动(可忽略)
消费者: