消息队列之Kafka的ack应答机制

kafka中的应答机制:
ack作用是确认收到消息,一条是producer发送消息到leader收到消息之后发送ack
另一条是leader和follower之间同步完成数据会发送ack
对于一些不太重要的数据,对数据的可靠性要求不是特别高的情况下,能够容忍少量的数据丢失,因此没有必要等待ISR中所有follower全部要接收成功
所以Kafka为用户提供了三种可靠级别设置,可以根据不同需求来修改选择:
ack有三个参数配置:参数是0,1和-1
参数为0意思是:
producer不等待broker的ack,这一种操作提供了最低的延迟,broker一接受到还没有写入到磁盘就已经返回了,当broker故障的时候 丢失数据(相当于异步发送)

参数为1时:
producer等待broker的ack,partition的leader落盘成功后返回ack,如果follower同步数据之前leader故障,此时会丢失数据。
此时follower需要同步leader中的数据,但是leader宕机了,挂了之后kafka集群会重新选举leader,选举出leader之后,并没有同步到原有的数据,就会造成数据的丢失
参数为-1时:
producer等待broker的ackpartition的leader和follower全部落盘成功后,才会返回ack,但是如果follower同步完成之后,在broker发送ack之前,leader发生故障,那么会出现数据的重复,但不会造成数据丢失。

你可能感兴趣的:(kafka,大数据)