CentOS7 搭建 kafka 集群

单机使用 3 个 kafka 实例搭建伪集群

1. 使用环境

• CentOS7.4
• zookeeper-3.4.10
• kafka_2.12-0.11.0.1

2. 搭建 zookeeper 集群

https://blog.csdn.net/qq_40925105/article/details/86551122

3. 下载 kafka，并上传到服务器

下载地址：https://kafka.apache.org/downloads

4. 搭建集群

4.1 解压

tar -zxvf kafka_2.12-0.11.0.1.tgz

4.2 创建集群目录

创建目录

mkdir -p /usr/local/java/kafka-cluster

复制三份 kafka 到集群目录下，并分别命名为 kafka-1、kafka-2、kafka-3

cp -r kafka_2.12-0.11.0.1 /usr/local/java/kafka-cluster/kafka-1
cp -r kafka_2.12-0.11.0.1 /usr/local/java/kafka-cluster/kafka-2
cp -r kafka_2.12-0.11.0.1 /usr/local/java/kafka-cluster/kafka-3

4.3 修改 server.properties 配置文件

需要修改三个 kafka 目录下的 config/server.properties 配置文件，主要修改下面四个内容：

# kafka 集群中每个结点的唯一标识，三个 kafka 的 broker.id 不能相同
broker.id=0
# kafka 数据同步，改为 `listeners=PLAINTEXT://ip:port` 形式，端口号不能相同
listeners=PLAINTEXT://:9092
# kafka 日志路径，改为 `log.dir=/tmp/kafka-logs-1` 的形式，日志路径不能相同
log.dir=/tmp/kafka-logs
# zookeeper 集群地址，地址之间用逗号隔开
zookeeper.connect=localhost:2181

5. 启动 zookeeper 集群

6. 启动/关闭 kafka 集群

分别启动三个 broker

./bin/kafka-server-start.sh -daemon ./config/server.properties

登录 zookeeper 查看是否启动成功

ls /brokers/ids

0，1，2 三个 broker 启动成功，集群搭建完成！
关闭集群

./bin/kafka-server-stop.sh