【Kafka】第一章

1. 课程内容

======>课程学习

2. 介绍Kafka

Kafka传 统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

======>什么是分布式

简单来说，分布式就是将一个大问题拆分成多个小问题，逐一解决，最终协同合作，而将多个系统协同合作完成一个特定任务，支持分布式处理的软件系统，就是我们所说的分布式系统.

发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。

Kafka最新定义 ： Kafka是 一个开源的分布式事件流平台（Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

2.1 常见的消息队列

目 前企 业中比 较常 见的 消息 队列产 品主 要有 Kafka、ActiveMQ 、RabbitMQ 、RocketMQ 等。
在大数据场景主要采用 Kafka 作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ、RabbitMQ、RocketMQ。

传统的消息队列的主要应用场景包括：缓存/消峰、解耦和异步通信。

2.2 消息队列的应用场景

2.2.1 解耦

解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

2.2.2 异步通信

补充：java 开启异步的方式

2.3 消息队列的两种模式

• 点对点模式
• 发布/订阅模式

2.3.1 点对点模式

2.3.2 发布/订阅模式

2.4 Kafka基础架构

(1) Producer：消息生产者，就是向Kafka broker发消息的客户端。
(2) Consumer：消息消费者，向Kafka broker取消息的客户端。
(3) Consumer Group（CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
(4) Broker：一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个broker 可以容纳多个 topic。
(5 )Topic：可以理解为一个队列，生产者和消费者面向的都是一个 topic。
(6) Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个partition，每个 partition 是一个有序的队列。
(7) Replica：副本。一个 topic 的每个分区都有若干个副本，一个 Leader 和若干个Follower。
(8) Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 Leader。
(9) Follower：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和Leader 数据的同步。Leader 发生故障时，某个 Follower 会成为新的 Leader。

3.Kafka快速入门

======>Kafka下载

kafka tgz包爆解压到 /opt/module下

然后修改名称

从config目录下看server.properties

分发kafka

配置


分发

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

启动kafka(前提是已经启动了Zookeeper)

Kafka启动与停止脚本

3.1 主题命令行操作

1.查看操作主题参数命令
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh

2. 查看当前服务器中的所有 topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list
3.创建 first topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first
选项说明：
–partitions 定义分区数
–replication-factor 定义副本数
–topic 定义 topic 名

3.2 创建生产者发送数据

向topic发送数据

创建消费者

消费者接收到数据

消费者端开启历史数据

4. Kafka生产者

======>Kafka生产者

生产者重要参数列表

5. 异步发送

5.1 异步发送API

// TODO

附录

1.Kafka搭建
2.Kafka中文官方文档