【Kafka原理】数据积压问题

Kafka消费者消费数据的速度是非常快的,但是如果在处理Kafka消息时,由于外部IO或者网络拥堵会导致Kafka中的数据积压(数据堆积)。如果数据一直积压,会导致数据出来的实时性受到较大影响。

一、原因

1. 数据写入mysql失败

【Kafka原理】数据积压问题_第1张图片

  • 数据写入到mysql中报错,导致消费分区的offset一直没有提交,造成数据积压严重

2. 网络延迟导致消费失败

  • 通过查看应用程序日志发现,有大量的消费超时失败
  • 当天网络抖动厉害,且Kafka的消费者消费超时配置仅为50ms
  • 将消费超时配置修改为500ms后问题解决

3. 应用程序消费性能不足

二、小结

【Kafka原理】数据积压问题_第2张图片

你可能感兴趣的:(Kafka,kafka)