Kafka使用中的两个问题总结

Kafka用了挺长时间了,最早时官方文档也看得挺细的,但结果大半年没用,最近在做一些部署调整的时候有些细节居然遗忘了,摆了个乌龙。在这里总结一下,以免再忘。

1. 给Kafka加负载均衡的问题

Kafka producer上传数据的工作原理:

  1. producer先通过配置的broker列表中的其中一台,获取到整个Kafka集群的metadata,其中包含brokers,topics,partitions包括ISR的信息。定期update。
  2. 根据以上的metadata,以及由配置的message_key决定的partitioner策略(默认不配message_key的话就是简单的round robin),producer决定将数据分批发送到某个broker的partition中。
  3. producer直接发送数据,不再经过producer配置中的broker转发。

因此,加负载均衡是对获取metadata的请求提供了高可用,但不是对实际数据发送做负载均衡。所以流量很小,不需要考虑负载均衡服务器的带宽。

2. host.name与advertised.host.name的设置

host.name:按配置文件说明,是Kafka绑定的interface。其实这个说明有点误导,下面会见到。

advertised.host.name:是注册到zookeeper,client要访问的broker地址。(可能producer也是拿这个值,没有验证)

如果advertised.host.name没有设,会用host.name的值注册到zookeeper,如果host.name也没有设,则会使用JVM拿到的本机hostname注册到zk。

这里有两个坑要注意:

  1. 如果advertised.host.name没有设,host.name不能设为0.0.0.0,否则client通过zk拿到的broker地址就是0.0.0.0。
    如果指定要bind到所有interface,host.name不设就可以。

  2. 如果host.name和advertised.host.name都不设,client通过zk拿到的就是JVM返回的本机hostname,如果这个hostname是client无法访问到的,client就会连不上broker
    所以如果要bind到所有interface,client又能访问,解决的办法是host.name不设或设置0.0.0.0,advertised.host.name一定要设置为一个client可以访问的地址,如直接设IP地址。
    如果不需要bind到所有interface,也可以只在host.name设置IP地址。

简单的检查broker是否可以被client访问到的办法,就是在zookeeper中看broker信息,上面显示的hostname是否是client可以访问到的地址。
在zkCli中执行get /brokers/

【扩展】为何producer是配置broker地址而consumer中是配置zookeeper地址

区别的原因是consumer要把consumer group和consumer的信息(主要是分配了哪些topic/partition)注册到zookeeper中,被各个consumer watch,以实现consumer之间的自动均衡。

至于consumer的offset虽然也可能保存在zookeeper上,但不是区别的原因。因为在0.9版本以上,offset也是可以保存到Kafka本身的。

你可能感兴趣的:(Kafka使用中的两个问题总结)