kafka安装及使用

目录

1.单机部署

1.下载安装包

2.启动zookeeper服务

3.启动kafka broker服务

2.集群部署

1.下载安装包

2.修改zookeeper配置

3.修改kafka配置

4.在3台机器上启动zookepper 

5.在3台机器上启动kafka

6.检查是否启动OK

 3.使用

1.创建topic

2.查看kafka topic分区数

3.显示所有topic

4.写kafka数据

5.读kafka数据

4.kafa基本概念

---

1.单机部署

1.下载安装包

在下面地址下载安装包，我们这里下载kafka_2.13-3.4.0.tgz。

可以直接网页下载，也可以复制地址之后使用wget下载。

下载完成之后tar -xzvf kafka_2.13-3.4.0.tgz解压

Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/downloads

2.启动zookeeper服务

bin/zookeeper-server-start.sh config/zookeeper.properties

3.启动kafka broker服务

bin/kafka-server-start.sh config/server.properties

2.集群部署

集群部署我们需要准备三台服务器。

1.下载安装包

在三台机器上和单机方式一样下载3个安装包并解压。

2.修改zookeeper配置

vim config/zookeeper.properties

dataDir=/data/zookeeper
clientPort=2181
maxClientCnxns=0
admin.enableServer=false
initLimit=20
syncLimit=10
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP3:2888:3888

3.修改kafka配置

vim config/server.properties

 broker.id=1
zookeeper.connect=IP1:2181,IP2:2181,IP3:2181

4.在3台机器上启动zookepper 

bin/zookeeper-server-start.sh config/zookeeper.properties &

5.在3台机器上启动kafka

bin/kafka-server-start.sh config/server.properties &

6.检查是否启动OK

 3.使用

1.创建topic

$ bin/kafka-topics.sh --create --topic cluster_topic --bootstrap-server IP1:2181,IP2:2181,IP3:2181

2.查看kafka topic分区数

bin/kafka-topics.sh --describe --topic cluster_topic --bootstrap-server localhost:9092

3.显示所有topic

bin/kafka-topics.sh --list --zookeeper IP1:2181

4.写kafka数据

$ bin/kafka-console-producer.sh --topic cluster_topic --bootstrap-server IP1:9092,IP2:9092,IP3:9092

5.读kafka数据

$ bin/kafka-console-consumer.sh --topic cluster_topic --from-beginning --bootstrap-server IP1:9092,1IP2:9092,IP3:9092

4.kafa基本概念