kafka-consumer-基本介绍（理论）

目录

1 消费方式

2 总体工作流程

3 消费者组工作原理

4 消费者组初始化流程

5 消费者组消费过程

---

1 消费方式

消费者两种消费模式：

• pull（拉）模式:consumer米用从broker 中主动拉取数据。Kafka采用这种方式。
• push(推）模式:Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率。例如推送的速度是50m/s，Consumer1、Consumer2就来不及处理消息。

pull模式的不足之处在于：如果kafka中没有数据，消费者可能会陷入循环之中，会返回空数据。

2 总体工作流程

 一个消费者可以消费多个分区数据，每个分区的数据只能由消费者组中的一个消费者消费。

如果消费者组中的某个消费者挂掉了怎么办？
kafka分区中维护了一个offset偏移量，标记消费者目前的数据消费位置，会提交到系统主题保存。

3 消费者组工作原理

Consumer Group(CG):消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。

• 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。
• 消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
• 如果向消费组中添加更多的消费者，超过主题分区数量，则有一部分消费者就会闲置，不会接收任何消息。
• 消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

4 消费者组初始化流程

coordinator:辅助实现消费者组的初始化和分区的分配。coordinator节点选择 = groupid 的 hashcode 值% 50 (consumer_offsets的分区数量)
例如: groupid的hashcode值=1，1%50=1，那么_consumer_offsets主题的1号分区，在哪个broker上，就选择这个节点的coordinator作为这个消费者组的老大。消费者组下的所有的消费者提交offset 的时候就往这个分区去提交offset。

1. 每个consumer都发送JoinGroup请求。
2. 选出一个consumer作为leader。
3. 把要消费的topic情况发送给leader消费者。
4. leader消费者负责制定消费方案。
5. 把消费方案同步发送给coordinator。
6. coordinator就把消费者方案下发给各个consumer。
7. 每个消费者都会和coordinator保持心跳（默认3s) ，一旦超时(session.timeout.ms=45s)，该消费者会被移除，并触发再平衡或者消费者处理消息的时间过长(max.poll.interval.ms = 5分钟)，也会触发再平衡。

5 消费者组消费过程