Kafka用法总结

Kafka用法总结

一、Kafka是什么

Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。

二、消息队列

消息队列(Message queue)是一种进程间通信或同一进程的不同线程间的通信方式。把数据放到消息队列的叫做生产者,把数据从生产队列取出的叫做消费者。

消息队列目前有两种模式,点对点模式 和 发布/订阅模式

1、点对点模式

Kafka用法总结_第1张图片

消息生产者生产消息发送到queue中,然后消息消费者从queue中取出并且消费消息。消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。

2、发布/订阅模式

Kafka用法总结_第2张图片

消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到topic的消息会被所有订阅者消费。

三、Kafka架构

Kafka用法总结_第3张图片

组成 说明
producer 消息生产者
consumer 消息消费者
consumer group 消费者组,由多个消费者组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者
broker 一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic
topic 生产者和消费者面向的都是一个topic(类似队列)
partition 一个大的topic可以分布到多个broker上,一个topic可以分为多个partition,每个partition是一个有序的队列。
leader 生产者发送数据的对象,以及消费者消费数据的对象都是leader。是多个副本中的主
follower 实时从leader同步数据并保持一致性。当leader故障时数据不会丢失,并会有一个follower成为leader代其工作。

四、安装部署

ip host
192.168.2.102 hadoop102
192.168.2.103 hadoop103
192.168.2.104 hadoop104
  1. 解压安装包

     tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/
    
  2. 修改文件路径

    为了方便查找和后续环境变量配置修改文件路径

    mv /opt/module/kafka_2.11-2.4.1 /opt/module/kafka
    
  3. 在kafka目录下创建文件夹logs

    mkdir /opt/module/kafka/logs
    
  4. 修改配置

    vim /opt/module/kafka/config/server.properties
    
    #broker的全局唯一编号,不能重复
    broker.id=0
    #删除topic功能使能
    delete.topic.enable=true
    #处理网络请求的线程数量
    num.network.threads=3
    #用来处理磁盘IO的现成数量
    num.io.threads=8
    #发送套接字的缓冲区大小
    socket.send.buffer.bytes=102400
    #接收套接字的缓冲区大小
    socket.receive.buffer.bytes=102400
    #请求套接字的缓冲区大小
    socket.request.max.bytes=104857600
    #kafka运行日志存放的路径
    log.dirs=/opt/module/kafka/logs
    #topic在当前broker上的分区个数
    num.partitions=1
    #用来恢复和清理data下数据的线程数量
    num.recovery.threads.per.data.dir=1
    #segment文件保留的最长时间,超时将被删除
    log.retention.hours=168
    #配置连接Zookeeper集群地址
    zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
    
  5. 添加环境变量

    sudo vim /etc/profile.d/my_env.sh
    
    #KAFKA_HOME
    export KAFKA_HOME=/opt/module/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    
    sh /etc/profile.d/my_env.sh
    
    echo $ KAFKA_HOME
    
  6. 集群内其他服务器安装并配置环境变量

    修改其他机器的broker.id

  7. 启动

    在各个服务器节点执行

    kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
    
  8. 关闭

    在各个服务器节点执行

    kafka-server-stop.sh
    

五、使用

1、创建topic

创建topic,名称为topicA,副本数为3,partition数为1

kafka-topics.sh --zookeeper hadoop102:2181/kafka \--create --replication-factor 3 --partitions 1 --topic topicA

2、查看topic

查看hadoop102的topic

kafka-topics.sh --zookeeper hadoop102:2181/kafka --list

3、查看topic详情

kafka-topics.sh --zookeeper hadoop102:2181/kafka \--describe --topic topicA

在这里插入图片描述

4、发送消息

发送消息到topicA

kafka-console-producer.sh \--broker-list hadoop102:9092 --topic topicA

在这里插入图片描述

5、消费消息

消费topicA的消息

–from-beginning 表示从头开始接受消息

kafka-console-consumer.sh \--bootstrap-server hadoop102:9092 --from-beginning --topic topicA

在这里插入图片描述

6、修改分区数

修改topicA的分区数为3

kafka-topics.sh --zookeeper hadoop102:2181/kafka --alter --topic topicA --partitions 3

查看详情结果如下

在这里插入图片描述

7、删除topic

删除topicA

kafka-topics.sh --zookeeper hadoop102:2181/kafka \--delete --topic topicA

你可能感兴趣的:(kafka,分布式)