linux虚拟机搭建Kafka集群环境

linux虚拟机搭建Kafka集群环境


文章目录

    • linux虚拟机搭建Kafka集群环境
      • 一、环境准备
      • 一、Kafka安装
        • 1、打开三台虚拟机
        • 2、用Xshell连接,并选择【发送键输入到所有会话】
        • 3、在【/opt】下创建kafka文件夹
        • 4、下载kafka [官网下载地址](http://kafka.apache.org/downloads)
        • 5、解压【kafka_2.13-2.8.0.tgz】
        • 6、修改【server.properties】配置文件
          • 6.1、修改【zookeeper.connect】参数
          • 6.2、分别修改【broker.id】参数
          • 6.3、分别修改【listeners=PLAINTEXT://:9092】参数
          • 6.4、修改【log.dirs】参数
          • 6.5、退出编辑,并保存
      • 三、运行Kafka集群
        • 1、运行Zookeeper集群服务
        • 2、运行Kafka集群服务


一、环境准备

  1. 具备 linux虚拟机搭建Zookeeper集群环境-教程

  2. 下载Kafka 官网下载地址
    linux虚拟机搭建Kafka集群环境_第1张图片

  3. 这里我选择安装过Zookeeper的三台服务器上,再分别安装kafka【192.168.109.100 ;192.168.109.101 ;192.168.109.102】,自己可以扩展另外一些机器来安装kafka。

一、Kafka安装

1、打开三台虚拟机

linux虚拟机搭建Kafka集群环境_第2张图片

2、用Xshell连接,并选择【发送键输入到所有会话】

linux虚拟机搭建Kafka集群环境_第3张图片
【发送键输入到所有会话】:意思是在一个会话中的操作,可以同步到其他会话窗口。这样只需要在一个连接机器的安装,就可实现所有连接机器的安装。
linux虚拟机搭建Kafka集群环境_第4张图片

3、在【/opt】下创建kafka文件夹

******************命令如下******************
cd /opt/
mkdir kafka
cd kafka/

linux虚拟机搭建Kafka集群环境_第5张图片

4、下载kafka 官网下载地址

linux虚拟机搭建Kafka集群环境_第6张图片
linux虚拟机搭建Kafka集群环境_第7张图片

******************命令如下******************
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz

linux虚拟机搭建Kafka集群环境_第8张图片
linux虚拟机搭建Kafka集群环境_第9张图片

5、解压【kafka_2.13-2.8.0.tgz】

******************命令如下******************
tar -zxvf kafka_2.13-2.8.0.tgz

linux虚拟机搭建Kafka集群环境_第10张图片
linux虚拟机搭建Kafka集群环境_第11张图片

6、修改【server.properties】配置文件

进入【/opt/kafka/kafka_2.13-2.8.0/config/】路径下。

******************命令如下******************
cd /opt/kafka/kafka_2.13-2.8.0/config/

vim server.properties

linux虚拟机搭建Kafka集群环境_第12张图片

6.1、修改【zookeeper.connect】参数

【zookeeper.connect】:设置连接的zookeeper集群连接信息

******************命令如下******************
zookeeper.connect=192.168.109.100:2181,192.168.109.101:2181,192.168.109.102:2181

linux虚拟机搭建Kafka集群环境_第13张图片

6.2、分别修改【broker.id】参数

【broker.id】: 当前机器在集群中的唯一标识,和zookeeper的myid性质一样。【不能重复】
在这里插入图片描述
我这里,机器[192.168.109.100],设置broker.id=0
linux虚拟机搭建Kafka集群环境_第14张图片
机器[192.168.109.101],设置broker.id=1
linux虚拟机搭建Kafka集群环境_第15张图片
机器[192.168.109.102],设置broker.id=2
linux虚拟机搭建Kafka集群环境_第16张图片

6.3、分别修改【listeners=PLAINTEXT://:9092】参数

【9092】:是kafka默认端口。这里每个机器都改成自己的ip,见如下操作:
linux虚拟机搭建Kafka集群环境_第17张图片

******************修改如下******************
listeners=PLAINTEXT://192.168.109.100:9092

linux虚拟机搭建Kafka集群环境_第18张图片

******************修改如下******************
listeners=PLAINTEXT://192.168.109.101:9092

linux虚拟机搭建Kafka集群环境_第19张图片

******************修改如下******************
listeners=PLAINTEXT://192.168.109.102:9092

linux虚拟机搭建Kafka集群环境_第20张图片

6.4、修改【log.dirs】参数

【log.dirs】:日志存放路径,根据自己情况而定。

******************修改如下******************
log.dirs=/opt/kafka/kafka_2.13-2.8.0/logs

linux虚拟机搭建Kafka集群环境_第21张图片
linux虚拟机搭建Kafka集群环境_第22张图片

6.5、退出编辑,并保存

按【ESC】键退出编辑,并输入【:qw!】保存【server.properties】配置信息。

******************命令如下******************
:qw!

三、运行Kafka集群

1、运行Zookeeper集群服务

linux虚拟机搭建Kafka集群环境_第23张图片

2、运行Kafka集群服务

./kafka-server-start.sh -daemon ../config/server.properties

####说明:【-daemon】守护进程方式启动,可加可不加。
         【../config/server.properties】server.properties文件的相对路径

linux虚拟机搭建Kafka集群环境_第24张图片

……
帮助他人,快乐自己,最后,感谢您的阅读!
所以如有纰漏或者建议,还请读者朋友们在评论区不吝指出!

个人网站…知识是一种宝贵的资源和财富,益发掘,更益分享…

你可能感兴趣的:(Linux,搭建Kafka集群环境,linux搭建Kafka集群)