kafka安装部署和使用

一、kafka安装部署

1.1 获取安装包，上传解压到/data/soft目录下

链接：https://pan.baidu.com/s/1HrimkznaYXUwFvnhQpNjLA?pwd=ptvk 
提取码：ptvk 

1.2 修改配置文件

修改：server.properties

针对单机模式，如果kafka和zookeeper在同一台机器上，并且zookeeper监听的端口就是那个默认的 2181端口，则 zookeeper.connect 这个参数就不需要修改了。 只需要修改一下 log.dirs 即可

 1.3 运行启动命令

 bin/kafka-server-start.sh -daemon config/server.properties

1.4  检查启动

二、kafka基本操作 

2.1  topic 的操作

bin/kafka-topics.sh --create --zookeeper localhost:2181 
--partitions 2 --replication-factor 1 --topic helloWorld 

--create 表示对topic的创建动作    --partitions 表示消息分区的个数  

--replication-factor 表示数据副本的个数，注意：副本数不能大于集群中Broker的数量

 

2.2 查询kafka中所有的topic和指定topic信息

//查看所有topic信息
bin/kafka-topics.sh --list --zookeeper localhost:2181 
//指定topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181  topic helloWorld

 第一个行显示指定topic所有partitions的一个总结

•  PartitionCount：表示这个Topic一共有多少个partition     
•  ReplicationFactor：表示这个topic中partition的副本因子是几
•  Config：这个表示创建Topic时动态指定的配置信息，在这我们没有额外指定配置信息

    下面每一行给出的是一个partition的信息，如果只有一个partition，则只显示一行。

• Topic：显示当前的topic名称
• Partition：显示当前topic的partition编号
• Leader：Leader partition所在的节点编号，这个编号其实就是broker.id的值，

2.3 修改Topic：修改Topic的partition数量，只能增加 

bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 3  --topic helloWorld 

2.4 删除Kafka中的指定Topic ,删除是不可逆的

bin/kafka-topics.sh --delete --zookeeper localhost:2181  --topic helloWorld 

 

 三、Kafka中的生产者和消费者

  创建生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic hello

 

创建消费者

bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic hello