kafka集群安装启动测试

本次安装是kafka_2.9.2-0.8.1.1.tgz版本的，不要下载src版本，在每个kafka节点安装配置如下：

安装

1、kafka需要jdk环境，首先安装jdk环境。

2、解压kafka安装包，修改config/server.properties

broker.id=0，集群每个节点都不同。

host.name=hadoop1，写本节点的hostname

log.dirs=/home/hadoop/apps/kafkadata，log.dirs是kafka存储数据的目录，默认在/tmp下，/tmp在服务器每次重启时会被清空。

zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181，zookeeper的链接串

default.replication.factor=2，消息备份数量，默认值是1

哪些是可能需要修改的配置项，请参考：Kafka-broker配置说明

启动

1、进入每个kafka节点的主目录，启动集群

nohup bin/kafka-server-start.sh config/server.properties &

测试

1、使用jps查看是否有kafka的进程。

2、新建topic

kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181

3、在hadoop2上模拟producer，在hadoop2上执行如下命令：

kafka-console-producer.sh --broker-list hadoop1:9092 --topic test

命令执行完之后，输入hello world

4.在hadoop3上模拟consumer，在hadoop3上执行如下命令：

kafka-console-consumer.sh --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181 --topic test

参考文章如下：

kafka集群安装

Broker Configs

Kafka-broker配置说明