深入浅出kafka-消费者相关原理

1、 消费组概念 32} 0:7

2、偏移量工具 35} 0：15

kafkaOffsetMonitor-assembly-0.3.0

3、感知消费异常 36} 0：14

heartbeat.interval.ms 故障后通过心跳下发rebanlence指令

session.timeout.ms kafka多长时间感知不到就认为故障，默认10s

max.poll.interval.ms 两次poll 间隔超时会任务这个consumer 太弱，踢出去给别人消费

4 、 消费者核心参数 37} 0:10

fetch.max.bytes 默认 1M，一条消息的最大字节
max.poll.records 默认500 ， 一次消费最多消息
conection.max.idle.ms consumer和broker 的socker如果空闲了一定时间会回收，建议-1
不回收，否则要重新建立连接

enable.auto.commit 自动提交

auto.commit.interval.ms 每隔多久提交？默认5000毫秒

auto.offset.reset
earliest：各分区已经有offset时，从提交的offset消费，否则从最早
latest：各分区已经有offset时，从提交的offset消费，否则从最新
none： 各分区已经有offset时，从提交的offset消费，否则只要有一个分区不存在抛出异常

5、消费者groupcoordinator 39}

1、发送joingroup请求
2、选出leader consumer
3、把topic消费情况发送leader
4、leader制定消费方案
5、发送消费方案给corndinator
6、corndinator 下发消费方案给其他消费者
7、其他消费者找到消费分区消费

6、消费者 重新平衡策略 40}

1、range 策略 按照partiton编号
2、round-robin算法
3、stick策略多余分区 均匀分配