【Kafka】第一章

【Kafka】第一章

  • 1. 课程内容
  • 2. 介绍Kafka
    • 2.1 常见的消息队列
    • 2.2 消息队列的应用场景
      • 2.2.1 解耦
      • 2.2.2 异步通信
    • 2.3 消息队列的两种模式
      • 2.3.1 点对点模式
      • 2.3.2 发布/订阅模式
    • 2.4 Kafka基础架构
  • 3.Kafka快速入门
    • 3.1 主题命令行操作
    • 3.2 创建生产者发送数据
  • 4. Kafka生产者
    • 生产者重要参数列表
  • 5. 异步发送
    • 5.1 异步发送API
  • 附录

【Kafka】第一章_第1张图片

1. 课程内容

======>课程学习
【Kafka】第一章_第2张图片

2. 介绍Kafka

Kafka传 统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。

======>什么是分布式

简单来说,分布式就是将一个大问题拆分成多个小问题,逐一解决,最终协同合作,而将多个系统协同合作完成一个特定任务,支持分布式处理的软件系统,就是我们所说的分布式系统.

发布/订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。


Kafka最新定义 : Kafka是 一个开源的分布式事件流平台(Event StreamingPlatform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

2.1 常见的消息队列

目 前企 业中比 较常 见的 消息 队列产 品主 要有 Kafka、ActiveMQ 、RabbitMQ 、RocketMQ 等。
在大数据场景主要采用 Kafka 作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ、RabbitMQ、RocketMQ

传统的消息队列的主要应用场景包括:缓存/消峰、解耦和异步通信。

2.2 消息队列的应用场景

2.2.1 解耦

解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。

2.2.2 异步通信

补充:java 开启异步的方式

2.3 消息队列的两种模式

  • 点对点模式
  • 发布/订阅模式

2.3.1 点对点模式

【Kafka】第一章_第3张图片

2.3.2 发布/订阅模式

【Kafka】第一章_第4张图片

2.4 Kafka基础架构

【Kafka】第一章_第5张图片
(1) Producer:消息生产者,就是向Kafka broker发消息的客户端。
(2) Consumer:消息消费者,向Kafka broker取消息的客户端。
(3) Consumer Group(CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
(4) Broker:一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个broker 可以容纳多个 topic。
(5 )Topic:可以理解为一个队列,生产者和消费者面向的都是一个 topic。
(6) Partition:为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上,一个 topic 可以分为多个partition,每个 partition 是一个有序的队列。
(7) Replica:副本。一个 topic 的每个分区都有若干个副本,一个 Leader 和若干个Follower。
(8) Leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是 Leader。
(9) Follower:每个分区多个副本中的“从”,实时从 Leader 中同步数据,保持和Leader 数据的同步。Leader 发生故障时,某个 Follower 会成为新的 Leader。

3.Kafka快速入门

======>Kafka下载

kafka tgz包爆解压到 /opt/module下

然后修改名称

从config目录下看server.properties



在这里插入图片描述

分发kafka

配置

在这里插入图片描述
分发

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

启动kafka(前提是已经启动了Zookeeper)

Kafka启动与停止脚本


3.1 主题命令行操作

1.查看操作主题参数命令
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh
【Kafka】第一章_第6张图片
2. 查看当前服务器中的所有 topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list
3.创建 first topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first
选项说明:
–partitions 定义分区数
–replication-factor 定义副本数
–topic 定义 topic 名
【Kafka】第一章_第7张图片

3.2 创建生产者发送数据

topic发送数据
在这里插入图片描述
创建消费者

消费者接收到数据
【Kafka】第一章_第8张图片

消费者端开启历史数据
【Kafka】第一章_第9张图片

4. Kafka生产者

======>Kafka生产者

生产者重要参数列表

【Kafka】第一章_第10张图片
【Kafka】第一章_第11张图片
【Kafka】第一章_第12张图片

5. 异步发送

5.1 异步发送API

// TODO

附录

1.Kafka搭建
2.Kafka中文官方文档

你可能感兴趣的:(中间件,kafka)