kafka集群环境搭建及kafkamanager监控安装

俗话：好记性不如烂笔头。
环境：kafka0.11.0.3 + zookeeper3.4.6 + jdk8 + kafkamanager-1.3.3.17

Jdk8

直接安装jdk1.8，不再赘述

安装zookeeper

直接安装zookeeper3.4.6.不再赘述。

安装kafka集群

我这里是单机搭建的伪集群
在kafka安装目录config下复制server.peroperties多两份如下：
server-1.properties
server-2.properties
以server-1.properties为例修改项为：

broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1
zookeeper.connect=localhost:2181

启动：

nohup ./bin/kafka-server-start.sh config/server.properties &
nohup ./bin/kafka-server-start.sh config/server-1.properties &
nohup ./bin/kafka-server-start.sh config/server-2.properties &

安装好集群之后，可以使用创建Topic，然后使用生产者、消费者的kafka命令进行测试。

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test  

生产消息：

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

安装kafka-manager

正常的套路是在github上下载源代码通过sbt编译并安装，但是这个过程不但慢而且容易出错，这里我直接使用编译好的kafkamanager-1.3.3.17包进行启动了。启动之前需要修改conf下的application.properties,其他地方不需要修改。

kafkamanager链接: https://pan.baidu.com/s/12UiVQjzgctWnA3FktOqZdA

kafka-manager.zkhosts="localhost:2181"
#kafka-manager.zkhosts=${?ZK_HOSTS}

启动：

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &

在浏览器打开：http://localhost:9000/

这里可以创建Cluster。


这里填写zk的地址，勾选JMX，其他的我都是默认，Save保存。

点击进入可以看到6个topic，3个broker。


这三个broker就是我搭建的kafka伪集群，暴漏9092，9093，9094三个端口。

当我启动JAVA Consumer客户端后会发现在Consumer目录下出现的消费者信息test，正在消费的主题是test1.

参考kafka官方文档：https://kafka.apache.org/documentation/#implementation

​​