kafka进阶-给你思维导图
文末思维导图
kafka基础-思维导图
Kafka进阶思维导图
Kafka监控调优思维导图
消费者组重平衡
弊端
影响Consumser端TPS
慢，效率低
发生时机
组成员数据发生变化
订阅主题数量发生变化
订阅主题分区数发生变化
优化配置，避免不必要的Rebalance
尝试解决：Consumer没能及时发送心跳请求，导致被踢出Group
session.timeout.ms 会话间隔
heartbeat.interval.ms 心跳间隔
session.timeout.ms >= 3* heartbeat.interval.ms 至少3轮的心跳请求。
尝试解决：Consumer 消费时间过长导致的
max.poll.interval.ms拉取消息的时间间隔
发生Rebalance时，由哪个线程通知其他消费者实例
0.10.1.0版本之前，在消费者主线程中
目前心跳线程，heartbeat.interval.ms 控制重平衡通知的频率
消费者组状态机
| Empty | 组内没有成员，可能存在已提交的位移数据，，而且这些位移未过期 |
| Dead | 组内没有成员，元信息已被协调者移除 |
| PreparingRebalance | 消费者组准备开始重平衡，所有成员都要重新加入该组 |
| CompletingRebalance | 消费者组所有成员已加入，正等待分配方案。该状态老一点的版本中杯称为AwaitingSync |
| Stable | 稳定状态，已重平衡完成，组内成员正常消费数据 |
协调者端处理重平衡
协调者组件保存着当前向他注册过的所有组信息。
场景
新成员入组
组成员主动离组
组成员崩溃离组
重平衡时协调者对组内成员提交位移的处理
步骤
当重平衡开启时，协调者会给予成员一段缓冲时间，要求每个成员必须在这段时间内快速地上报自己的位移信息
然后再开启正常的 JoinGroup/SyncGroup 请求发送
重平衡流程
JoinGroup请求 和 SyncGroup请求。
第一个发送JoinGroup的成为领导者
领导者(消费者)，收集所有成员的订阅信息，然后根据这些信息，指定具体的分区消费方案
无消息丢失配置
生产者部分
使用producer.send(msg,callback) callback 可以准确知道消息是否提交成功。
设置acks=all 所有副本都接收到消息。
设置retries为一个较大的值 重试防止网络抖动。
Broker部分
unclean.leader.election.enable=false , Broker端参数，禁止落后的Broker成为Leader。
replication.factor>=3, Broker端的参数 , 副本数量，冗余。防止消息丢失。
min.insync.replicas>1, Broker端的参数 , 至少要写入的最小副本数，提升消息持久性。
确保replication.factor > min.insync.replicas 副本数大于最小写入副本数，否则有一个副本挂了，集群就不可用了。
建议：replication.factor = min.insync.replicas + 1
消费者部分
确保消息消费完成再提交点位
副本机制
什么是副本
通常是分布式系统再多台网络互联的机器上保存有相同的数据拷贝。
好处
提供数据冗余 （kafka仅仅用到这个好处）
提高伸缩性
改善数据局部性
Kafka追随者副本不对外提供服务的原因
方便实现 Read-your-writes ，向Kafka成功写入消息后，马上使用消费者API去读取刚才生成的消息
方便实现单调读
In-sync Replicas (ISR)
同步副本集，包含Leader 与follower副本
判断Follower与Leader同步的标准
replica.lag.time.max.ms参数值，Follwer副本能落后Leader副本的最长时间间隔，默认为10s
拦截器
基本思想
不修改应用程序的逻辑的情况下，动态的实现一组可插拔的事件处理逻辑链。
使用场景
端到端系统性能检查、消息审计等多种功能在内的场景。
拦截点
生产者拦截器
发送消息前
消息提交成功后
消费者拦截器
消费消息前
提交位移后
注意事项
指定拦截器类时，一定要指定它们的全定限名
