Kafka分布式集群搭建

一、Kafka分布式集群的搭建

1、下载,解压Kafka文件

tar -zxvf kafka_2.12-3.1.0.tgz

2、配置kafka环境变量

vim /etc/profile.d/my_env.sh

Kafka分布式集群搭建_第1张图片

使配置文件生效

source /etc/prifile

3、修改配置文件

vim /opt/kafka/conf/server.properties
:set nu #行号方便查看

配置kafa服务器的编号,一个集群中该值为唯一的,不能重复,并且是一个数字

broker.id=X

Kafka分布式集群搭建_第2张图片

Kafka运行日志文件存放路径,也是kafka存放数据的路径

Kafka分布式集群搭建_第3张图片

配置kafka链接的zookeeper集群地址,多台服务器之间使用“,”分开,后面加上一个路径,则便于对数据管理

slavel1等服务器是/etc/hosts文件中配置的域名和 IP 的映射关系

Kafka分布式集群搭建_第4张图片

4、分发文件

发送环境变量配置文件

scp -r /etc/profile.d/my_env.sh hadoop02:/etc/profile.d/

scp -r /etc/profile.d/my_env.sh hadoop03:/etc/profile.d/

在slave2,slave3中分别

source /etc/profile #使环境变量配置文件生效

5、修改broker.id

Hadoop02

vim /opt/kafka/conf/server.properties

Kafka分布式集群搭建_第5张图片

Hadoop03

vim /opt/kafka/conf/server.properties

Kafka分布式集群搭建_第6张图片

6、启动kafka集群

先启动zookeeper,在集群每台机器都执行一遍

cd /opt/zookeeper/bin

zkServer.sh start

启动kafka

Kafka分布式集群搭建_第7张图片

       

Kafka分布式集群搭建_第8张图片

jps查看三台机器进程

7、停止kafka集群

cd /opt/kafka/bin

停止kafka

./kafka-server-stop.sh

jps确认,记得关闭zookeeper

Kafka分布式集群搭建_第9张图片

二、Kafka命令行操作

topic(主题)的常用参数:

参数

说明

--bootstrap-server

  connect to>

配置连接的Kafka的主机名和端口号

--topic

设置topic的名称

--create

创建一个topic

--delete

删除topic

--alter

修改topic

--list

查看所有topic

--describe

查看指定主题的详细信息

--partitions

设置topic分区数量

--replication-factor

  replication factor>

设置topic分区副本数量

1、创建一个topic

./kafka-topics.sh --bootstrap-server slave1:9092 --create --topic kaf --partitions 3 --replication-factor 3

查看topic

./kafka-topics.sh --bootstrap-server slave1:9092 --list

2、生产者往刚创建的topic中推送数据

常用参数

参数

说明

--bootstrap-server

  connect to>

配置连接的Kafka的主机名和端口号

--topic

指定操作的topic名称

[{"a":"1","b":"2","c":"3"}]

3、消费者从topic中拉取数据

常用参数

参数

说明

--bootstrap-server

  connect to>

配置连接的Kafka的主机名和端口号

--topic

指定操作的topic名称

--from-beginning

指定消费者从开始进行消费,即可以消费生产者生产的所有数据

你可能感兴趣的:(kafka,分布式,java)