Kafka集群配置,以及集群管理工具Kafka Manager的安装

我们使用如下三台机器搭建Kafka集群,此文档在我们已经安装了zookeeper集群的前提下有效,文章中zookeeper全部使用zk缩写表示

192.168.1.96
192.168.1.45
192.168.1.34

下面操作在不说明的情况下都是在96这台机器上做的操作

  • 下载Kafka

wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

  • 解压Kafka

tar xzvf kafka_2.11-0.9.0.1.tgz

  • 修改配置文件 config/server.properties

broker.id=0
advertised.host.name=192.168.1.96
log.dirs=/data/store/log/kafka-logs
zookeeper.connect=192.168.1.96:2181,192.168.1.45:2181,192.168.1.34:2181/kafka
1、 broker.id 每台集群机器唯一,从0开始递增,待我们把kafka同步到其他机器上之后需要修改每台机器的这个ID
2、 如下图所示,它的意思是我们可以在zookeeper.connect最后指定一个chroot地址,当然不是必须的,默认使用的是根目录,修改这个等于指定了kafka集群需要存储在zk的数据目录,但是我们需要在集群启动前在zk中手动建立这样一个目录 

Kafka集群配置,以及集群管理工具Kafka Manager的安装_第1张图片
3、 advertised.host.name 配置成当前服务器的ip,如果没有配置,默认值是java.net.InetAddress.getCanonicalHostName()当时我没有修改这个值,在本地测试的时候出现了连接超时问题,而且在kafka manager里面查看broker的ip都是localhost,修改之后则为具体的ip地址,估计是和getCanonicalHostName()有关,这个问题留待以后考证啦.. 
4、 如何创建这个chroot路径呢?使用如下命令连接到任意一台zk服务器

bin/zkCli.sh
create /kafka ''


  • 同步kafka到其他机器上,并且修改config/server.properties里面的broker.id,别忘记了

scp -r kafka_2.11-0.9.0.1 192.168.1.34:/data/strawbird/kafka_2.11-0.9.0.1
scp -r kafka_2.11-0.9.0.1 192.168.1.45:/data/strawbird/kafka_2.11-0.9.0.1

  • 分别启动三台机器的kafka

bin/kafka-server-start.sh config/server.properties &

安装Kafka Manager

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
//下面这步操作真的是要等很久,耐心等待吧,不瞒您说,我这这里一共花了2752s,所以....呵呵哒
sbt clean dist
cd target/universal/ //在universal目录下我们可以看到如下两个文件


 

//解压上图中的zip文件
unzip kafka-manager-1.3.0.8.zip
cd kafka-manager-1.3.0.8
//修改conf/application.properties中科院为kafka-manager.zkhosts的值



//启动kafka manager
bin/kafka-manager
//启动之后、默认启动的端口是9000,所以我们在浏览器访问这个地址 http://192.168.1.96:9000,然后自己添加一个集群 大致可以看到如下的信息

Kafka集群配置,以及集群管理工具Kafka Manager的安装_第2张图片

参考文档

  • http://kafka.apache.org/documentation.html

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布,欢迎转载、使用、重新发布,但务必保留文章署名稻草鸟人(包含此订阅号二维码)

你可能感兴趣的:(kafka)