kafka 消费端重复消费和漏消费以及提高吞吐量

一 重复消费和漏消费

1.1 重复消费

重复消费： 已经消费了数据，但是 offset 没提交。

1.2 漏消费

二  解决重复消费和漏消费

如果想完成Consumer端的精准一次性消费，那么需要Kafka消费端将消费过程和提交offset 
过程做原子绑定。此时我们需要将Kafka的offset保存到支持事务的自定义介质（比 如 
MySQL）。

三 数据挤压怎么提高吞吐量

1.如果是Kafka消费能力不足，消费者数量较少，则可以考虑增 加Topic的分区数，并且同时提升消费组的消费者

数量， 消费者数 = 分区数 。（两者缺一不可）

2.如果是下游的数据处理不及时： 提高每批次拉取的数 量 。批次拉取数据过少（拉取数据 / 处理时间 < 生产速度）， 使处理的数据小于生产的数据，也会造成数据积压。

3.参数说明