kafka acks为-1时重复数据问题

原因：

1、生产者发送数据到leader。

2、leader写完数据，ISR中的follower也拉取完数据了，但是在返回ack之前，leader宕机了。

3、此时生产者的没拿到ack(这个请求失败了)，就会认为kafka没有拿到数据，就会重发数据。

kafka就又会重新保存这份重发数据，导致数据重复。

 

 

解决，新版的kafka加了个幂等性，用参数enable.idempotence=true就可以开启。

开启之后会使用poductorId、partition.id、seqNumber(消息序号，与offset不一样)这三个做缓存，用于判断重发的数据是否已经被leader以及follower保存过了，如果保存过了，就不会再保存，这样就避免重复消息了。