kafka分布式安装部署

1.集群规划
在这里插入图片描述
2.集群部署

官方下载地址:http://kafka.apache.org/downloads.html

(1)上传并解压安装包

[zhangflink@9wmwtivvjuibcd2e package]$ tar -zxvf kafka_2.12-3.3.1.tgz -C ../software/

在这里插入图片描述
(2)修改解压后的文件名称

[zhangflink@9wmwtivvjuibcd2e software]$ mv kafka_2.12-3.3.1/ kafka

在这里插入图片描述
(3)进入到/opt/software/kafka目录,修改配置文件
在这里插入图片描述

[zhangflink@9wmwtivvjuibcd2e config]$ vim server.properties

kafka分布式安装部署_第1张图片

kafka分布式安装部署_第2张图片
kafka分布式安装部署_第3张图片
(3)配置系统环境变量

[zhangflink@9wmwtivvjuibcd2e config]$ sudo vim /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/software/kafka
export PATH=$PATH:$KAFKA_HOME/bin

kafka分布式安装部署_第4张图片
刷新配置文件

[zhangflink@9wmwtivvjuibcd2e config]$ source /etc/profile

(4)分发环境变量文件到其他节点,并source刷新配置文件

[zhangflink@9wmwtivvjuibcd2e software]$ /home/zhangflink/bin/xsync /etc/profile
[zhangflink@9wmwtivvjuibcd2e-0001 ~]$ source /etc/profile
[zhangflink@9wmwtivvjuibcd2e-0002 ~]$ source /etc/profile

(5)分发kafka文件到其他节点

[zhangflink@9wmwtivvjuibcd2e software]$ /home/zhangflink/bin/xsync kafka/

修改其他
kafka分布式安装部署_第5张图片
kafka分布式安装部署_第6张图片

3.启动集群
先启动Zookeeper集群,然后启动Kafka。

[zhangflink@9wmwtivvjuibcd2e kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[zhangflink@9wmwtivvjuibcd2e-0001 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[zhangflink@9wmwtivvjuibcd2e-0002 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties

查看进程

**

如果启动后一段时间发现节点停止,日志有如下报错,说明brokerID重复导致修改即可

**
在这里插入图片描述
kafka分布式安装部署_第7张图片
kafka分布式安装部署_第8张图片
修改完后再次启动日志正常,brokerID正常
在这里插入图片描述
在这里插入图片描述
4.集群启停脚本
(1)在/home/zhangflink/bin目录下创建文件kafka.sh脚本文件

[zhangflink@9wmwtivvjuibcd2e kafka]$ sudo vim /home/zhangflink/bin/kafka.sh

编辑脚本

#! /bin/bash

case $1 in
"start"){
    for i in flinkv1 flinkv2 flinkv3
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/software/kafka/bin/kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties"
    done
};;
"stop"){
    for i in flinkv1 flinkv2 flinkv3
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/software/kafka/bin/kafka-server-stop.sh "
    done
};;
esac

(2)添加执行权限

[zhangflink@9wmwtivvjuibcd2e kafka]$ sudo chmod 777 /home/zhangflink/bin/kafka.sh

kafka分布式安装部署_第9张图片

如果启动脚本执行后,kafka进程没有启动,也没有报错,那么大概是以下问题

问题原因:

登录式Shell,采用用户名比如xxx登录,会自动加载/etc/profile

非登录式Shell,采用ssh比如ssh 192.168.1.121登录,不会自动加载/etc/profile,会自动加载~/.bashrc

解决方法:
先测试 ssh [bigdata111 ip] “which java” 是否有反应,如果显示"no found",则需要配置

执行命令
[zhangflink@9wmwtivvjuibcd2e bin]$ ssh flinkv1 "which java"
出现报错
which: no java in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin)

配置 ~/.bashrc文件

[zhangflink@9wmwtivvjuibcd2e ~]$ cd /home/zhangflink/bin/
[zhangflink@9wmwtivvjuibcd2e bin]$ vim ~/.bashrc

添加配置文件

export JAVA_HOME=/opt/software/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin


并将.bashrc文件分发到其他节点上

[zhangflink@9wmwtivvjuibcd2e bin]$ /home/zhangflink/bin/xsync ~/.bashrc

继续测试 ssh [bigdata111 ip] “which java” 成功后重启脚本,看进程是否存在
在这里插入图片描述
然后再次执行脚本启动kafka,发现启动成功。

你可能感兴趣的:(kafka,分布式,kafka)