centos7 安装 kafka 2.3.0 并配置集群

安装 kafka

• 安装 java 11，为了方便选择yum安装

  • sudo yum -y install java-11-openjdk*

• 下载 Kafka ，在官网选择下载时请选择二进制下载

  • wget http://apache.cs.utah.edu/kafka/2.3.0/kafka_2.11-2.3.0.tgz

• 解压 Kafka tar -zxvf kafka_2.11-2.3.0.tgz

• 重命名解压文件 mv kafka_2.11-2.3.0 kafka

• 进入解压文件 cd kafka

---

运行 kafka

• 启动 Zookeeper
  • 运行命令 bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
• 启动kafka
  • 运行命令bin/kafka-server-start.sh config/server.properties
  • 如下图所示则运行成功
    
• 生成 topic
  • 运行命令 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  • 就可以生成一个名为 test 的 topic
• 创建生产者
  • 运行命令 kafka]$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 如下图所示
    
• 创建消费者
  • 运行命令 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  • 如下图所示
    

  ---

  配置kafka集群

节点名称	ip
kafka1	192.168.74.101
kafka2	192.168.74.102
kafka3	192.168.74.103

• 如上表所示，集群一共有三个节点，每个节点的配置都完全相同
• 进入 kafka1 节点 kafka 的 config 目录，编辑 server.properties 文件的下面几个选项

broker.id=1  # kafka1，kafka2，kafka3 节点，依次设置为1，2，3
zookeeper.connect=192.168.74.101:2181,192.168.74.102:2181,192.168.74.103:2181
listeners = PLAINTEXT://192.168.74.101:9092     #本机的ip地址加9092端口

• 一定要设置 listeners 不然会报找不到leader的错误

WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 3 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

• 三个节点均配置成功后，重启 kafka 和 zookeeper 集群即可正常运行