kafka概述，架构说明，相关的名词解释

消息队列两种模式：点对点与发布订阅

生产者发送一条消息到queue，只有一个消费者能收到。

 

发布者发送到topic的消息，只要订阅了该topic的订阅者都会收到消息。


kafka架构图

Kafka 是一个分布式(发布订阅的)消息队列。Kafka 对消息保存时根据 Topic 进行归类，
发送消息者称为 Producer，采用推的方式给kafka
消息接受者称为 Consumer，采用拉，推的方式从kafka拿数据
此外 kafka 集群有多个 kafka 实例组成，每个实例(server)成为 broker。
无论是 kafka 集群，还是 producer 和 consumer 都依赖于 zookeeper 集群保存一些meta 信息，来保证系统可用性。

1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；

2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；

3）Topic ：主题，可以理解为一个队列，用于消息的分类,如订单类的消息放一个topic,产品类的消息放一个topic

4）Consumer Group （CG）：消费者组，这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个 consumer）的手段。一个 topic 可以有多个 CG。

topic的消息会发送到所有的 CG，但每个 partion 只会把消息发给该 CG 中的一个 consumer。

如果需要实现广播，只要每个 consumer 有一个独立的 CG 就可以了。

要实现单播只要所有的 consumer 在同一个 CG。

用 CG 还可以将 consumer 进行自由的分组而不需要多次发送消息到不同的 topic； 

在同一个消费者组中的消费者，对同一条消息，只能消费一次

5）Broker ：一台 kafka 服务器就是一个 broker。
一个集群由多个 broker 组成。
一个 broker可以容纳多个 topic；
 
6）Partition：分区，为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，
一个 topic 可以包括多个 partition，每个 partition 是一个有序的队列。

partition 中的每条消息都会被分配一个有序的 id（offset）。
kafka 只保证按一个 partition 中的顺序将消息发给consumer，不保证一个 topic 的整体（多个 partition间）的顺序；
（简单说，就是partition中局部有序，topic整体无序）

7）Offset：就是记录某个消费者组，对某个主题下某个分区的偏移量（位置），方便下次接着消费