ELFK日志平台入门4---Kafka集群搭建

ELFK日志平台入门1---架构设计

ELFK日志平台入门2---Elasticseach集群搭建   

ELFK日志平台入门3---Kibana搭建

ELFK日志平台入门4---Kafka集群搭建

ELFK日志平台入门5---Logstash+Filebeat集群搭建

这个章节我们介绍下Kafaka集群搭建。

 1、环境准备

  资源规划：

   环境配置： 

• Kafka以Zookeeper作为注册中心，所以需要先安装Zookeeper集群，Kafka安装包里也有自带，这里不做详细介绍；

 2、Kafka集群安装

       下面操作均在三台机器操作：

• 解压Kafka安装包：

# tar zxf kafka_2.11-2.2.0.tgz && mv kafka_2.11-2.2.0 /usr/local/kafka

• 修改Kafka配置：

# vim /usr/local/kafka/config/server.properties

broker.id=1                 #ID唯一，填数字，本文中分别为1/2/3
port=9092
host.name=192.168.0.0               #本机ip
log.dirs=/data/kafka/kafka-logs                 #数据存放目录，不是日志目录
num.partitions=16               #每个topic的默认分区数
log.retention.hours=168             #过期时间，默认为1周
zookeeper.connect=192.168.0.0:2181,192.168.0.1:2181,192.168.0.2:2181                #zookeeper ip及端口

# mkdir -p /data/kafka

• 启动Kafka：

# cd /user/local/kafka

# nohup /user/local/kafka/bin/kafka-server-start.sh /user/local/kafka/config/server.properties &>/dev/null &

 3、测试Kafka集群

       下面操作均在三台机器操作：

• 创建一个topic：

# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.0.0:2181 --replication-factor 3 --partitions 1 --topic test                     #注意：factor大小不能超过broker的个数

Created topic test.

• 查看已创建的topic：

# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.0.0:2181
test

• 查看topic test的详情：

# /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.0.0:2181 --topic test

Topic:test	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: test	Partition: 0	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3


#主题名称：test

#Partition:只有一个，从0开始

#leader ：id为1的broker

#Replicas 副本存在于broker id为1,2,3的上面

#Isr:活跃状态的broker

• 生产者发送消息：

# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.0.0:9092 --topic test
>test
>test1
>test22

• 消费者接收消息：

# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.0:9092 --topic test --from-beginning                  # --from-beginning表示从开始接收，否则只接收新产生的消息
test
test1
test22

 从上面可以看出Kafka生产者和消费者通讯是成功的，说明Kafka集群部署成功。

 至此Kafka集群已搭建完成。