Kafka集群安装部署

安装前准备

Kafka二进制安装包 官方下载地址
Zookeeper环境
监控插件Kafka Eagle 官方下载地址
三台Linux服务器或者虚拟机

安装Kafka

1、解压安装包

tar -zxvf kafka_2.12-2.2.0.tgz

2、修改config目录下配置文件server.properties

# Broker唯一ID
broker.id=0
# Server网络交互的线程数
num.network.threads=3
# Server处理请求或者文件IO线程数
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
# Server可接收单个请求包含最大字节数
socket.request.max.bytes=104857600
# 数据目录，多个目录用逗号隔开
log.dirs=/home/hadmin/data/kafka
# Topic默认分区数
num.partitions=3
# 启动时数据回复线程数
num.recovery.threads.per.data.dir=1
# 内置Topic  "__consumer_offsets" 和 "__transaction_state“副本参数
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
# 数据日志存储最大时间
log.retention.hours=168
# 数据日志文件大小
log.segment.bytes=1073741824
# 检查日志是否需要删除的频率
log.retention.check.interval.ms=300000
# zookeeper集群地址
zookeeper.connect=tod1:2181,tod2:2181,tod3:2181
# 连接超时时间
zookeeper.connection.timeout.ms=6000
# 集群平衡reblance延迟毫秒数
group.initial.rebalance.delay.ms=3

3、修改启动日志目录，编辑bin目录下kafka-run-class.sh，在脚本中添加以下内容

LOG_DIR=/home/hadmin/data/logs/kafka

4、配置环境变量，编辑/etc/profile

export KAFKA_HOME=/home/hadmin/kafka
export PATH=$PATH:$KAFKA_HOME/bin
//使配置文件生效
source /etc/profile

5、将Kafka目录复制到节点二，修改server.properties，将broker.id修改为1
6、将Kafka目录复制到节点三，修改server.properties，将broker.id修改为2

启动Kafka集群

在每台节点执行启动命令

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

安装Kafka Eagle监控插件

1、将安装包上传到任意一台节点，然后解压

tar -zxvf kafka-eagle-bin-1.2.2.tar.gz

2、修改配置文件，编辑conf目录下system-config.properties

# zookeeper&kafka集群地址，多个用逗号隔开
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=tod1:2181,tod2:2181,tod3:2181

# Kafka集群Broker节点数
cluster1.kafka.eagle.broker.size=3

# Zookeeper允许连接最多客户端数量
kafka.zk.limit.size=25

# WEBUI端口号
kafka.eagle.webui.port=8048

# Kafka offset存储位置，kafka或zk
cluster1.kafka.eagle.offset.storage=zk

# 是否开启Kafka性能监控图表
kafka.eagle.metrics.charts=false

# Kafka Eagle保存数据天数
kafka.eagle.metrics.retain=30

# 删除Topic的密码
kafka.eagle.topic.token=keadmin

# 默认使用sqlite存储数据，也可使用其他数据库，例如MySQL
kafka.eagle.driver=org.sqlite.JDBC
# /home/hadmin/kafka-eagle/db/ 目录需手动创建
kafka.eagle.url=jdbc:sqlite:/home/hadmin/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=smartloli

3、设置环境变量，编辑/etc/profile

export KE_HOME=/home/hadmin/kafka-eagle
export PATH=$PATH:$KE_HOME/bin
//使配置生效
source /etc/profile

启动Kafka Eagle

运行启动命令

ke.sh start

打开浏览器输入地址http://IP:8048/ke，用户名admin，密码123456

停止命令

ke.sh stop

水平一般，能力有限，大数据小学生一枚。文章主要用于个人学习和总结，如果能给他人带来帮助，纯属意外。