Kafka进阶

• Producer

  • 负责生成消息，并把消息push到broker集群中。

  • 该角色显式知道应该push到broker集群中的哪个或哪几个broker当中

• Broker

  • 负责接收生产者push过来的消息，存储到所在的机器文件中

• Consumer Group

  • 每个Consumer属于一个特定的Consumer Group。

  • 一条消息可以发送到多个不同的Consumer Group，但是一个Consumer Group中只能有一个Consumer能够消费该消息。

• Consumer

  • 负责拉取(pull)broker端的消息，进行下一步的处理或是存储

• Topic

  • 主题，类似于频道，Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic。

• Partition

  • 物理上的概念，一个topic可以分为多个partition，每个partition对应一个broker机器当中的目录，每个partition内部是有序的，是由1个或者多个segment组成。

  • partition leader负责所有响应客户端的读写操作，partition follower是只负责同步和备份leader的数据，不响应用户端读写。

• ZooKeeper协同服务

  • 管理broker和consumer，协同Broker集群和Consumer之间的通信

• • Kafka提供五大核心API

    • Producer API

      • 允许应用程序发布流记录到一个或多个kafka主题中。

    • Consumer API

      • 允许应用程序订阅一个或多个主题，并处理针对这些主题的数据流。

    • Connector API

      • 实现在Kafka和其他系统之间复制数据的功能，用户创建自定义的从系统中pull数据或push数据到系统的Connector（连接器）。

      • Connector有两种形式：SourceConnectors从其他系统导入数据（如：JDBCSourceConnector将导入一个关系型数据库到Kafka）和SinkConnectors导出数据（如：HDFSSinkConnector将kafka主题的内容导出到HDFS文件）

    • Streams API

      • Streams API允许程序作为一个数据流处理应用，将一个或多个topic中输入的数据进行消费，并生产数据流到一个或多个topics中。

    • Admin API

      • 支持管理和检查topic，broker，acls和其他Kafka对象。

                                    

• leader:负责处理消息的读和写，leader是从所有节点中随机选择的.

• Replicas:列出了所有的副本节点，不管节点是否在服务中.

• Isr: 英文is servering replicas的简写，即正在服务中的节点，即正常的副本，其是可以被候选为leader角色的集合