Kafka集群配置，以及集群管理工具Kafka Manager的安装

我们使用如下三台机器搭建Kafka集群,此文档在我们已经安装了zookeeper集群的前提下有效，文章中zookeeper全部使用zk缩写表示

192.168.1.96
192.168.1.45
192.168.1.34

下面操作在不说明的情况下都是在96这台机器上做的操作

• 下载Kafka

wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

• 解压Kafka

tar xzvf kafka_2.11-0.9.0.1.tgz

• 修改配置文件 config/server.properties

broker.id=0
advertised.host.name=192.168.1.96
log.dirs=/data/store/log/kafka-logs
zookeeper.connect=192.168.1.96:2181,192.168.1.45:2181,192.168.1.34:2181/kafka
1、 broker.id 每台集群机器唯一，从0开始递增，待我们把kafka同步到其他机器上之后需要修改每台机器的这个ID
2、 如下图所示，它的意思是我们可以在zookeeper.connect最后指定一个chroot地址，当然不是必须的，默认使用的是根目录，修改这个等于指定了kafka集群需要存储在zk的数据目录，但是我们需要在集群启动前在zk中手动建立这样一个目录 

3、 advertised.host.name 配置成当前服务器的ip，如果没有配置，默认值是java.net.InetAddress.getCanonicalHostName()当时我没有修改这个值，在本地测试的时候出现了连接超时问题，而且在kafka manager里面查看broker的ip都是localhost，修改之后则为具体的ip地址，估计是和getCanonicalHostName()有关，这个问题留待以后考证啦.. 
4、 如何创建这个chroot路径呢?使用如下命令连接到任意一台zk服务器

bin/zkCli.sh
create /kafka ''

• 同步kafka到其他机器上,并且修改config/server.properties里面的broker.id,别忘记了

scp -r kafka_2.11-0.9.0.1 192.168.1.34:/data/strawbird/kafka_2.11-0.9.0.1
scp -r kafka_2.11-0.9.0.1 192.168.1.45:/data/strawbird/kafka_2.11-0.9.0.1

• 分别启动三台机器的kafka

bin/kafka-server-start.sh config/server.properties &

安装Kafka Manager

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
//下面这步操作真的是要等很久，耐心等待吧，不瞒您说，我这这里一共花了2752s，所以....呵呵哒
sbt clean dist
cd target/universal/ //在universal目录下我们可以看到如下两个文件

 

//解压上图中的zip文件
unzip kafka-manager-1.3.0.8.zip
cd kafka-manager-1.3.0.8
//修改conf/application.properties中科院为kafka-manager.zkhosts的值

//启动kafka manager
bin/kafka-manager
//启动之后、默认启动的端口是9000，所以我们在浏览器访问这个地址 http://192.168.1.96:9000,然后自己添加一个集群 大致可以看到如下的信息

参考文档

• http://kafka.apache.org/documentation.html

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布，欢迎转载、使用、重新发布，但务必保留文章署名稻草鸟人(包含此订阅号二维码)