（十）kafka常见问题汇总

1：kafka问题总结

1：消费者消费消息失败

查看topic的副本同步机制是否一致

kafka-topics.sh --describe --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 --topic kafka_test

HW俗称高水位，HighWatermark的缩写，取一个partition对应的ISR中最小的LEO作为HW，consumer最多只能消费到HW所在的位置。
另外每个replica都有HW,leader和follower各自负责更新自己的HW的状态。对于leader新写入的消息，consumer不能立刻消费，
leader会等待该消息被所有ISR中的replicas同步后更新HW，此时消息才能被consumer消费。这样就保证了如果leader所在的broker
失效，该消息仍然可以从新选举的leader中获取。对于来自内部broker的读取请求，没有HW的限制

2：分区数据倾斜

topic重建，保证分区均衡

3：Error sending fetch request to node 3: org.apache.kafka.common.errors.DisconnectException

4：java.lang.IllegalStateException: No current assignment for partition topic

原因：同一groupid在消费同一topic导致额偏移量问题。
解决：停止程序修改groupid