ELK日志管理系统——kafka集群部署教程

1.部署准备

 a）kafka安装包  ——> 官方下载地址（本教程版本为 kafka_2.13-2.4.1.tgz）

 b)  zookeeper集群 ——> zookeeper集群部署教程

 c)  三台服务器 40，41，42

 

2.开始部署

 a)  解压 kafka_2.13-2.4.1.tgz

tar -xvf kafka_2.13-2.4.1.tgz -C /usr/local/kafka

b)  进入config目录修改server.properties文件中的相关字段

     40服务器

#当前机器在集群中的唯一标识，和zookeeper的myid性质一样，不配置时自动分配
broker.id=1

#定义Kafka Broker的Listener的配置项
listeners=PLAINTEXT://192.168.59.40:9092

#将Broker的Listener信息发布到Zookeeper中
advertised.listeners=PLAINTEXT://192.168.59.40:9092

#zookeeper集群地址
zookeeper.connect=192.168.59.40:2181,192.168.59.41:2181,192.168.59.42:2181

    41服务器

#当前机器在集群中的唯一标识，和zookeeper的myid性质一样，不配置时自动分配
broker.id=2

#定义Kafka Broker的Listener的配置项
listeners=PLAINTEXT://192.168.59.41:9092

#将Broker的Listener信息发布到Zookeeper中
advertised.listeners=PLAINTEXT://192.168.59.41:9092

#zookeeper集群地址
zookeeper.connect=192.168.59.40:2181,192.168.59.41:2181,192.168.59.42:2181

   42服务器

#当前机器在集群中的唯一标识，和zookeeper的myid性质一样，不配置时自动分配
broker.id=3

#定义Kafka Broker的Listener的配置项
listeners=PLAINTEXT://192.168.59.42:9092

#将Broker的Listener信息发布到Zookeeper中
advertised.listeners=PLAINTEXT://192.168.59.42:9092

#zookeeper集群地址
zookeeper.connect=192.168.59.40:2181,192.168.59.41:2181,192.168.59.42:2181

   c)  进入bin目录启动kafka

./kafka-server-start.sh -daemon ../config/server.properties 

 

 

3.kafka集群检测

  a)在40服务器的kafka  bin目录下启动生产者

./kafka-console-producer.sh --broker-list 192.168.59.40:9092 --topic test

 

 b)在41服务起的kafka  bin目录下启动消费者

./kafka-console-consumer.sh --bootstrap-server 192.168.59.41:9092 --topic test --from-beginning

 c)在40服务器生产者中输入test 可在41服务起中看到输出test