Kafka参数调优(二)-消费者Consumer

一、Consumer参数说明

1、enable.auto.commit

该属性指定了消费者是否自动提交偏移量，默认值是true。
为了尽量避免出现重复数据（假如，某个消费者poll消息后，应用正在处理消息，在3秒后kafka进行了重平衡，那么由于没有更新位移导致重平衡后这部分消息重复消费）和数据丢失，可以把它设为 false，由自己控制何时提交偏移量。
如果把它设为true，还可以通过配置 auto.commit.interval.ms 属性来控制提交的频率。

2、auto.commit.interval.ms

自动提交间隔。范围：[0,Integer.MAX]，默认值是 5000 （5 s）

3、手动提交：commitSync/commitAsync

手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。

相同点：都会将本次poll的一批数据最大的偏移量提交。
不同点：commitSync会阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而commitAsync则没有失败重试机制，故有可能提交失败，导致重复消费。

4、max.poll.records

Consumer每次调用poll()时取到的records的最大数。

二、Kafka消息积压、消费能力不足怎么解决？

1. 如果是Kafka消费能力不足，则可以考虑增加Topic的分区数，同时相应的增加消费者实例，消费者数=分区数（二者缺一不可）。
2. 如果是下游的数据处理不及时，则可以提高每批次拉取的数量，通过max.poll.records这个参数可以调整。
3. 单个消费者实例的消费能力提升，可以用多线程/线程池的方式并发消费提高单机的消费能力。

三、Kafka消费者如何进行流控？

将自动提交改成手动提交（enable.auto.commit=false），每次消费完再手动异步提交offset，之后消费者再去Broker拉取新消息，这样可以做到按照消费能力拉取消息，减轻消费者的压力。