大数据之kafka

一、概念

1、定义

        传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

        主要任务：发布/订阅，消息发布者不会将消息发送给特定的订阅者，而是将发布的消息分为不同的类别（topic），由订阅者自己拉取感兴趣的消息。

Kafka最 新定义 ： Kafka是 一个开源的 分 布式事件流平台 （Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

2、消息队列

        主要应用于：缓存/消峰、解耦和异步通信。

缓存/消峰：缓解数据量大而造成的消息处理压力，有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。、

 解耦：扩展接口，允许独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

异步通信：允许用户先将消息放入队列中，不立即处理，等需要是再处理。

消息队列的两种模式（即数据的消费模式不同）：

 3、kafka的基础架构

目前大多数使用的仍然是由zookeeper管理的kafka结构，kafka主要由生产者、kafka集群和消费者构成，主要处理数据的分配和过滤操作。

 其中，1）Producer：消息生产者，就是想kafka broker发消息的客户端

2）Consumer：消息消费者，向 Kafka broker 取消息的客户端。

3）Consumer Group（CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不 影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

4）Broker：一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。

5）Topic：可以理解为一个队列（主题），生产者和消费者面向的都是一个 topic。

6）Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服 务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。

7）Replica：副本。一个 topic 的每个分区都有若干个副本，一个 Leader 和若干个 Follower。

8）Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数 据的对象都是 Leader。

9）Follower：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和 Leader 数据的同步。Leader 发生故障时，某个 Follower 会成为新的 Leader。

二、kafka安装部署

略。。。（注意安装细节和kafka环境配置及集群部署）

1、基本命令操作

查看主题命令参数：bin/kafka-topics.sh

查看当前服务器中的所有 topic：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

创建 first topic：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

查看 first 主题的详情：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

修改分区数（注意：分区数只能增加，不能减少）：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

删除 topic：bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

查看操作生产者命令参数：bin/kafka-console-producer.sh

发送消息：bin/kafka-console-producer.sh -- bootstrap-server hadoop102:9092 --topic first

查看操作消费者命令参数：bin/kafka-console-consumer.sh

消费消息：bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first

读取历史数据：bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --from-beginning --topic first

三、Kafka生产者

1、生产者发送消息发送流程

在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程 中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator， Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。

 2、案例：创建 Kafka 生产者，采用异步的方式发送到 Kafka Broker

1）、异步发送即是生产者将数据发送到sender线程，不用等待kafka集群的应答就可不断地生产数据。

具体实现：创建kafka工程，导入依赖

 
 org.apache.kafka
 kafka-clients
 3.0.0
 

创建包名：com.atguigu.kafka.producer，并编写具体的生产者api代码

package com.atguigu.kafka.producer;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.io.Serializable;
import java.util.Properties;

/**
 * 异步发送：数据不必进入到下一个序列就可以继续发送到容器
 */
public class CustomProducer {
    public static void main(String[] args) {
        //在创建kafka之前要连接集群的信息配置
        Properties properties=new Properties();
        //  给 kafka 配置对象添加配置信息：bootstrap.servers
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092,hadoop103:9092");
        //key,value 序列化（必须）：key.serializer，value.serializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());


        //1、创建kafka生成者对象
        KafkaProducer kafkaProducer=new KafkaProducer<>(properties);

        //2、发送数据
        for(int i=0;i<5;i++) {
            kafkaProducer.send(new ProducerRecord<>("first", "hello" + i));
        }
        //3、关闭资源
        kafkaProducer.close();
    }
}

测试：在hadoop102上开启kafka消费者，并在 IDEA 中执行代码，观察 hadoop102 控制台中是否接收到消息。

bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first

2）、带回调的异步发送（回调函数会在 producer 收到 ack 时调用，为异步调用，该方法有两个参数，分别是元 数据信息（RecordMetadata）和异常信息（Exception），如果 Exception 为 null，说明消息发 送成功，如果 Exception 不为 null，说明消息发送失败。）

即可在idea控制台查看回调信息（生产者发送的消息）

具体操作：修改异步发送中发送数据send方法参数

测试方法和上面一致。

 3）、同步发送（只需在异步发送的基础上，再调用一下 get()方法即可。）

 3、生产者分区

优点：便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一 块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。

提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据。

 1）分区案例：将数据发往指定 partition 的情况下，例如，将所有数据发往分区 1 中。

具体实现：在send方法中增加决定数据发送的分区

 2）通过key的hash值分区。没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取 余得到 partition 值。

依次指定 key 值为 a,b,f ，数据 key 的 hash 值与 3 个分区求余， 分别发往 1、2、0

 3）自定义分区：实现一个分区器实现，发送过来的数据中如果包含 atguigu，就发往 0 号分区， 不包含 atguigu，就发往 1 号分区。

具体实现：定义类实现 Partitioner 接口。重写 partition()方法。

package com.atguigu.kafka.producer;
import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import java.util.Map;

/**自定义分区

 */
public class MyPartitioner implements Partitioner {
    /**
     *返回信息对应的分区
     * @param s 主题
     * @param o 消息的 key
     * @param bytes 消息的 key 序列化后的字节数组
     * @param o1 消息的 value
     * @param bytes1 消息的 value 序列化后的字节数组
     * @param cluster 集群元数据可以查看分区信息
     * @return
     */
    @Override
    public int partition(String s, Object o, byte[] bytes, Object o1, byte[] bytes1, Cluster cluster) {
        int partition;
        //获取消息
        String msgValue = o1.toString();
        if (msgValue.contains("atguigu")){
            partition=0;
        }else {
            partition=1;
        }
        return partition;
    }
    @Override
    public void close() {

    }
    @Override
    public void configure(Map map) {

    }
}

并在生产者加入自定义分区的类。

 注：以上的测试都是一致的，可以在idea控制台中查看回调信息。

4、生产经验

1）提高数据吞吐量

参数设置：

• batch.size：批次大小，默认16k

• linger.ms：等待时间，修改为5-100ms 一次拉一个， 来了就走

• compression.type：压缩snappy 生产经验——生产者如何提高吞吐量

• RecordAccumulator：缓冲区大小，修改为64m

具体实现：在生产端增加提高吞吐量的参数。

 2）数据可靠性（ack应答）

分析：如果分区副本设置为1个，或 者ISR里应答的最小副本数量 （ min.insync.replicas 默认为1）设置为1，和ack=1的效果是一 样的，仍然有丢数的风险（leader：0，isr:0）。

场景：Leader收到数据，所有Follower都开始同步数据，但有一 个Follower，因为某种故障，迟迟不能与Leader进行同步，那这个问 题怎么解决呢？

Leader维护了一个动态的in-sync replica set（ISR），意为和 Leader保持同步的Follower+Leader集合(leader：0，isr:0,1,2)。 如果Follower长时间未向Leader发送通信请求或同步数据，则 该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参 数设定，默认30s。例如2超时，(leader:0, isr:0,1)。 这样就不用等长期联系不上或者已经故障的节点。

 • 数据完全可靠条件 = ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2

可靠性总结：

acks=0，生产者发送过来数据就不管了，可靠性差，效率高；

acks=1，生产者发送过来数据Leader应答，可靠性中等，效率中等；

acks=-1，生产者发送过来数据Leader和ISR队列里面所有Follwer应答，可靠性高，效率低； 在生产环境中，acks=0很少使用；acks=1，一般用于传输普通日志，允许丢个别数据；acks=-1，一般用于传输和钱相关的数据， 对可靠性要求比较高的场景。

具体实现（在生产端设置重试次数，保障数据传输）

 3）数据去重

·数据传递：

 ·幂等性：指Producer不论向Broker发送多少次重复数据，Broker端都只会持久化一条，保证了不重复。

·重复数据的判断标准：具有相同主键的消息提交时，Broker只会持久化一条。其 中PID是Kafka每次重启都会分配一个新的；Partition 表示分区号；Sequence Number是单调自增的。 所以幂等性只能保证的是在单分区单会话内不重复。

精确一次（Exactly Once） = 幂等性 + 至少一次（ ack=-1 + 分区副本数>=2 + ISR最小副本数量>=2） 。

生产者事务：

具体实现（在生产者设置事务id）：

 4）数据有序和乱序

 四、Kafka Broker

1、Kafka Broker工作流程

后续总结