kafka 应用详解

个人备忘

 

概述：

   在流式计算中，kafka一般用来缓存数据，Strom通过消费kafka 的数据进行计算。

 1)  Apache Kafka 是一个开源消息系统，由Scala写成。是由Apache 软件基金会开发的一个开源消息系统项目。

 2) kafka 最初是由Linkedln开发，并于2011年处开源。2012 年10月从Apache lncubator 毕业。该项目的目标是为处理实时数据提供一个统一，高通量，地等待的平台。

 3) Kafka 是一个分布式消息队列。Kafka 对消息保存时根据topic 进行归类，发送消息者称为producer, 消息接收者称为Consumer, 此外kafka 集群有多个kafka 实例组成，每个实例（server）成为broker.

 4) 无论时kafka集群，还是producer 和 consumer 都依赖与zookeeper 集群保证一些meta信息，来保证系统可用性。

 

kafka发送消息模式

1）kafka 发送消息有两种模式，一种是：点对点；还有一种是：一对多。

kafka内部组成结构

1）kafka broker 可以定义多个队列（topic）, 每个topic 下可以有多个分区（parttion)。

2）发送者producer可以指定topic 发送消息，也可以指定topic 下的具体分区来发送消息。

3）所有发送的消息都存储在broker 中，在kafka集群中，每个分区上的消息数据都可以有副本，针对每个分区分为leader,副本为fllower。发送者和消费者都只会对leader进行消费，leader 挂掉后，fllower 会选举为leader 继续提供服务。

4）数据的写入顺序为，leader 拿到producer发送完的数据后，先将消息写道系统的pageCache 中，异步写入磁盘，成功后，在赋值给fllower 作为副本，因为kafka 依赖于pageCache ，这是高吞吐量的一个点。

5）消息的删除有两种，一般消息会在broker 中保存 七天，如果空间不足会将旧的数据进行清除。

6）类似activemq, rabbitmq 他们都是在消费者消费成功之后，对消息进行删除，kafka 如何保证消息不被重复消费？

7）kafka 每条消息都会有offset 去记录当前消费者消费到了那条消息，消费过的消息不会再进行消费。

8）说到kafka 的消费者，就得说一下kafka 消费者端的设计，kafka 消费者是分组来呈现的，一个topic 可以 被 多个组去订阅，我们知道消息是在 topic 的分区中，那么一对一就是，我们只有一个发送者，并且只有一个“消费者组”，这个组里可以有多个消费者，假设 topicA 有一个parttionA一个分区，我们producer指定消息发送到 topicA 中的 parttionA 中，该topicA 只被一个消费者组去订阅，这个组里有10个消费者，那么第一个去消费掉parttionA 中消息的消费者会一直对该parttionA进行消费，其他九个消费者会对其他parttion消费，如果没有就不消费，简单讲，同一个parttion 同时只能被 “同一个消费者组中某一个消费者消费”，如果想实现一对多，那么就定义多个组。由每个组的消费者去记录这些消息的offset, 而不是broker。

9）开发者可以根据以上特性，自己去定义你消息模式，理论上讲，同一条消息不会被一个组内多个消费者进行消费。

10）kafka 集群下，通过parttion 的副本可以很好的保证消息的可靠性。

 

kafka应用

1）高级API:

      优点：

          1，用起来简单。

          2，不需要自己管理offset,系统通过zookeeper自行管理。

          3，不需要管理分区，副本等情况，系统自己管理。

          4，消费者断线会自动根据上一次记录在zookeeper中的offset 去接着获取数据（默认设置 1 分钟更新一下zookeeper中存的offset）

          5，可以使用group来区分对同一个topic的不同程度访问分离开来（不同的group记录不同的offset，这样不同的程序读取同一个topic 才不会因为offset互相影响）。

       缺点：

           1，不能自己控制offset（对于默写特殊需求来说）

           2，不能细化控制如分区，副本，zk 等。

2）低级API

       优点：

            1，能够开发者自己控制offset，想从哪里读取就从哪里读取。

            2，对zookeeper的依赖性降低（如：offset不一定非要靠zk存储，自行存储offset即可，比如存在文件或者内存中）

       缺点：

            1，太过复杂，需要自行控制offset, 链接那个分区，找到分区leader等。

 

3）producer 可以指定topic 或者parttion 进行消息的发送，以及消息发送成功后的回调，也可以创建拦截器对消息发送前进行拦截，对消息结构进行处理，也可以在消费发送后进行拦截处理，比如记录一下发送成功消息个数，发送失败的个数，或者那些消息成功，那些消息失败。

 

kafka streaming

概述：kafka stream 是 开源项目kafka 的一个组成部分，是一个功能强大，易于使用的库，用于在kafka上构建可分布式，拓展性，容错的应用程序。

特点：

功能强大：高扩展性，弹性，容错。

轻量级：无需专门的集群，一个库, 非服务。

完全集成：100%的kafka1.10.0 版本兼容，易于集成到现有的应用程序

实时性：毫秒级延迟，并非微批处理，窗口允许乱序数据，允许迟到数据

 

为什么要有kafka  stream？

1，spark 和 storm 都是流式处理框架，都是需要提前搭建好server集群, 而kafka stream 是流式处理类库。其次spark ，storm,flink 在线调试成本高，使用受限制，而kafka stream 更加灵活。

2，kafka stream 作为类库，可以很方便的嵌入到 应用程序中，打包和部署基本没有任何要求。

3，就流式处理系统而言，基本都支持kafka 作为数据源。例如storm , flink , sprak , 大部分流式系统中都已部署了kafka, 此时使用kafka steam 的成本非常低。

4，storm 或者spark streaming 需要自身预留出资源，而kafka 作为类库不占系统资源。

5，因为kafka 本身提供数据持久化，因此kafka steam 提供滚动部署和滚动升级以及重新计算的能力。

6，由于kafka consumer rebalance 机制，kafka stream 可以在线动态调整并行度

 

链接: https://pan.baidu.com/s/1AwwOwLr3v70pQx_rjGaGKQ 提取码: gdpm 复制这段内容后打开百度网盘手机App，操作更方便哦