kafka保证数据不丢失

        保证kafka数据不丢失，即保证生产者、消费者、broker三个部分数据不丢失。

一、保证生产者数据不丢失

        为了保证生产者发送的数据已经发送到了broker，需要broker在接收到producer发送的数据时，返回消息确认ack。

        在设计broker的ack时，需要考虑到三个问题：

• 问题1：broker一直没有ack状态，producer无法知道broker是否成功接收到消息？

        解决方案：设置超时时间，比如10s，超时表示失败，设置重试次数，超过重试次数，则报错。

• 问题2：每条消息都回复ack，会不会比较占用网络资源？

        解决方案：引入缓冲池，生产者现将数据放入到缓冲池，达到一定阈值或者时间阈值后进行发送，会影响消息的实时性。

• 问题3：缓冲池中积累的消息按500条发送后，broker没有ack，如何处理缓冲池中的数据？

        解决方案：如果buffer满了，根据需要可以设置清空或者不清空。

1.1 kafka的设计

1.1.1 ack状态的设计

        broker到producer的ack设计需要考虑两种场景：partition的leader确认ack和所有副本同步完成的确认ack，所以kafka对于broker给producer的ack的状态设计如下：

• 0：生产者只负责发送数据
• 1：某个partition的leader收到数据并给出响应
• -1：某个partition的所有副本都收到数据后给出响应

1.1.2 异常处理设计（broker没有ack）

        同步模式，即没有缓冲池

• 生产者等待10s，如果broker没有给出响应，则认为失败
• 失败了重试3次发送，3次都失败，跑错

        异步模式，即使用缓冲池

• 缓冲池设计消息数量阈值和时间阈值，保证消息的及时发送
• 当broker没有ack时，可以根据需求设计buffer是否清空

二、保证broker数据不丢

        （1）使用partition的副本机制

        （2）使用broker-producer的ack -1状态，保证所有副本已经同步到数据

三、保证消费者数据不丢

        通过offset(偏移量) commit来保证消费到所有的数据，kafka记录group id对应的消费offset数值，下次可以继续接着offset消费。

        offset信息在kafka0.8版本之前是记录在zookeeper中，在0.8之后的版本记录在topic中，即消费者在运行过程中挂掉了，再次启动的时候，会找到offset的值，找到之前消费信息的位置，接着offset往下消费。

        由于offset的提交是在消费消息之后，所以如果消费者消费完消息，还没有来得及提交offset，消费者端挂掉了，这样消费者重新起来后，会存在重复消费的情况。

四、总结

        直接引用Lansonli的图

        生产者端：

        消费者端