认识KafKa-数据一致性参数

partitions数据一致性

KafKa中Producer发送消息到Broker，Broker有三种返回方式，分别为

• Noack
• leader commit成功就ack
• leader和follower同时commit成功才返回ack
• 第三种方式是数据强一致性

request.required.acks

• producer向leader发送数据时，可以通过request.required.acks参数设置数据可靠性的级别
• 1（默认）：这意味着producer在ISR中的leader已成功接收到数据。如果leader宕机了，则会丢失数据。
• 0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输效率最高，但是数据可靠性确实最低的。
• all：producer需要等待ISR中所有follower都确认接收到数据后才算一次发送完成，可靠性最高。但是这样也不能保证数据不丢失，比如当ISR中只有Leader时（ISR中的成员由于某些情况会增加也会减少，最少就只剩下一个leader），这样就变成acks=1的情况。
• 注：在0.9.0以前的版本，是用-1表示all

request.required.acks=1

• producer发送数据到leader，leader写本地日志成功，返回客户端成功。
• 此时ISR中的副本还没来得及拉取该消息，leader就宕机了，那么此次发送的消息就会丢失。
  

request.required.acks=all

• 同步（KafKa默认同步，即producer.type=sync）的发送模式
• 要min.insync.replicas参数（可以在broker或者topic层面进行设置）的配合，才能发挥最大的功效
• replication.factor>=2且min.insync.replicas>=2的情况下，不会丢失数据
  

min.insync.replicas

• 这个参数在broker或者topic层面进行设置
• 这个参数设定ISR中的最小副本数是多少，默认值为1
• 当且仅当request.required.acks参数设置为all时，此参数才生效。如果ISR中的副本数少于min.insync.replicas配置的数量时，客户端会返回异常：

org.apache.kafka.common.errors.NotEnoughReplicasExceptoin:Messages are rejected since there are fewer in-sync replicas than required