kafka集群安装启动测试

本次安装是kafka_2.9.2-0.8.1.1.tgz版本的,不要下载src版本,在每个kafka节点安装配置如下:

安装

1、kafka需要jdk环境,首先安装jdk环境。

2、解压kafka安装包,修改config/server.properties

broker.id=0,集群每个节点都不同。

host.name=hadoop1,写本节点的hostname

log.dirs=/home/hadoop/apps/kafkadata,log.dirs是kafka存储数据的目录,默认在/tmp下,/tmp在服务器每次重启时会被清空。

zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181,zookeeper的链接串

default.replication.factor=2,消息备份数量,默认值是1

哪些是可能需要修改的配置项,请参考:Kafka-broker配置说明

启动

1、进入每个kafka节点的主目录,启动集群

nohup bin/kafka-server-start.sh config/server.properties &

测试

1、使用jps查看是否有kafka的进程。

2、新建topic

kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181

3、在hadoop2上模拟producer,在hadoop2上执行如下命令:

kafka-console-producer.sh --broker-list hadoop1:9092 --topic test

命令执行完之后,输入hello world

4.在hadoop3上模拟consumer,在hadoop3上执行如下命令:

kafka-console-consumer.sh --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181 --topic test

参考文章如下:

kafka集群安装

Broker Configs

Kafka-broker配置说明

你可能感兴趣的:(kafka集群安装启动测试)