Kafka生产者之acks机制以及不丢失数据方案

Producer端设置的参数

1. request.required.acks=0

只要请求已经发送出去了，就算是发送完了。不关心有没有写成功

性能会很好，如果是对一些日志进行分析，可以承受丢数据的情况，用这个参数性能会很好

2. request.required.acks=1

发送一条消息，当leader partition写入成功以后，才算写入成功，这种方式也会有丢数据的风险

假如我们往kafka某一个broker上进行写数据，我们当然是给某一个分区的leader进行写数据，

那么这个时候我们写入了这个leader，但是follower partition还没有进行副本同步的时候，leader挂了。

那么我们去消费的时候，这条消息是不存在的，因为新上位的leader没有这条数据

3. request.required.acks=-1

需要ISR副本同步队列里面的所有副本都写成功以后，这条消息才算是写入成功

ISR：2个副本，1个leader 1个 follower 那么这个时候我们这个时候 需要这两个都写入成功才算写入成功

ISR：3个副本，1个leader 2个 follower 那么这个时候我们这个时候 需要这三个都写入成功才算写入成功

Kafka服务端设置的参数

min.insync.replicas

一个leader partition会维护一个ISR列表，这个值就是限制ISR副本同步队列里面至少得有几个副本，比如这个值是2，那么当ISR列表只有一个副本的时候，往这个分区插入数据的时候会报错

Kafka数据不丢失的方案

1. request.required.acks = -1
2. 分区副本数量 >= 2
3. min.insync.replicas >= 2