kafka的maxPollIntervalMs设置太小引发的惨案

    本地启动kafka后,不断报一下信息:

kafka的maxPollIntervalMs设置太小引发的惨案_第1张图片

表示本地consumer节点在不断的重新加入group,并且不断伴随着offset commit失败。

具体原因是因为ConsumerCoordinator没有向GroupCoordinator在规定的时间内同步心跳导致GroupCoordinator以为本地consumer节点挂掉了,引发了partition在consumerGroup里的rebalance。当rebalance后,之前该consumer拥有的分区和offset信息就失效了,同时导致不断的报auto offset commit failed。

   为什么ConsumerCoordinator会同步心跳失败呢,那是因为我把consumer的maxPollIntervalMs设置得太小,1s,而kafka默认是300s。

    这个参数的作用主要是如下:

kafka的maxPollIntervalMs设置太小引发的惨案_第2张图片

你可能感兴趣的:(kafka)