Kafka集群部署 及 EFLFK集群部署

EFLFK集群部署

服务器：

Node1：192.168.60.5
Node2：192.168.60.8
Logstash：192.168.60.12
kafka1：192.168.60.111
kafka2：192.168.60.115
kafka3：192.168.60.116
Filebeat：192.168.60.11

Kafka集群部署

1.下载安装包

官方下载地址：http://kafka.apache.org/downloads.html

cd /opt
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.1/kafka_2.13-2.7.1.tgz

2.安装 Kafka

cd /opt/
tar zxvf kafka_2.13-2.7.1.tgz
mv kafka_2.13-2.7.1 /usr/local/kafka

//修改配置文件
cd /usr/local/kafka/config/
cp server.properties{,.bak}

vim server.properties
broker.id=0    ●21行，broker的全局唯一编号，每个broker不能重复，因此要在其他机器上配置 broker.id=1、broker.id=2
listeners=PLAINTEXT://192.168.60.111:9092    ●31行，指定监听的IP和端口，如果修改每个broker的IP需区分开来，也可保持默认配置不用修改
num.network.threads=3    #42行，broker 处理网络请求的线程数量，一般情况下不需要去修改
num.io.threads=8         #45行，用来处理磁盘IO的线程数量，数值应该大于硬盘数
socket.send.buffer.bytes=102400       #48行，发送套接字的缓冲区大小
socket.receive.buffer.bytes=102400    #51行，接收套接字的缓冲区大小
socket.request.max.bytes=104857600    #54行，请求套接字的缓冲区大小
log.dirs=/usr/local/kafka/logs        #60行，kafka运行日志存放的路径，也是数据存放的路径
num.partitions=1    #65行，topic在当前broker上的默认分区个数，会被topic创建时的指定参数覆盖
num.recovery.threads.per.data.dir=1    #69行，用来恢复和清理data下数据的线程数量
log.retention.hours=168    #103行，segment文件（数据文件）保留的最长时间，单位为小时，默认为7天，超时将被删除
log.segment.bytes=1073741824    #110行，一个segment文件最大的大小，默认为 1G，超出将新建一个新的segment文件
zookeeper.connect=192.168.60.111:2181,192.168.60.115:2181,192.168.60.116:2181    ●123行，配置连接Zookeeper集群地址

//对命令进行优化
ln -s /usr/local/kafka/bin/* /usr/local/bin/
ln -s /usr/local/zookeeper-3.5.7/bin/* /usr/local/bin/
将kafka 和 zookeeper的执行文件都放入/usr/local/bin/目录

//分别启动 Kafka
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

kafka-server-start.sh 是开启服务的脚本
-daemon 为后台启动
最后指定配置文件server.properties

#//关闭kafka的命令
/usr/local/kafka/bin/kafka-server-stop.sh

//检查端口查看是否开启成功
netstat -lntp | grep 9092

3.Kafka 命令行操作

//创建topic
kafka-topics.sh --create --zookeeper 192.168.60.111:2181,192.168.60.115:2181,192.168.60.116:2181 --replication-factor 2 --partitions 3 --topic test

-------------------------------------------------------------------------------------
--zookeeper：定义 zookeeper 集群服务器地址，如果有多个 IP 地址使用逗号分割，一般使用一个 IP 即可
--replication-factor：定义分区副本数，1 代表单副本，建议为 2 
--partitions：定义分区数 
--topic：定义 topic 名称
-------------------------------------------------------------------------------------

//查看当前服务器中的所有 topic
kafka-topics.sh --list --zookeeper 192.168.60.111:2181,192.168.60.115:2181,192.168.60.116:2181

//查看某个 topic 的详情
kafka-topics.sh  --describe --zookeeper 192.168.60.111:2181,192.168.60.115:2181,192.168.60.116:2181 --topic test

//发布消息
kafka-console-producer.sh --broker-list 192.168.60.111:9092,192.168.60.115:9092,192.168.60.116:9092 --topic test

//消费消息
kafka-console-consumer.sh --bootstrap-server 192.168.60.111:9092,192.168.60.115:9092,192.168.60.116:9092 --topic test --from-beginning

-------------------------------------------------------------------------------------
--from-beginning：会把主题中以往所有的数据都读取出来
-------------------------------------------------------------------------------------

//修改分区数
kafka-topics.sh --zookeeper 192.168.60.111:2181,192.168.60.115:2181,192.168.60.116:2181 --alter --topic test --partitions 6

//删除 topic
kafka-topics.sh --delete --zookeeper 192.168.60.111:2181,192.168.60.115:2181,192.168.60.116:2181 --topic test

Kafka+EFLK部署

filebeat服务器配置文件修改

logstash服务器