分布式消息中间件（三）——Kafka生产者消费者模型

一、Kafka回顾

1、AMQP协议

     消息队列中消息交互规范，多数分布式消息中间件基于该协议进行消息传输

2、Broker

     对于kafka，将生产者发送的消息，动态的添加到磁盘，一个Broker等同于一个kafka应用实例，用于存放消息队列

3、主题：分区：消息

     一个分区（Patition）等同于一个消息队列，存放n条消息；一个主题（Topic）包括多个分区

二、常用分布式消息中间件特性对比

1、事务

     在消息系统中，事务指多条消息一起发送时，要么全部发送成功，或全部回滚，不可能一部分成功，一部分失败

2、负载

     大量的生产者和消费者向消息系统发送请求，消息系统必须能够均衡这些请求到n台服务器。

3、动态扩容

     系统或服务不支持动态扩容，就意味着当访问量大于当前集群可处理数量时，不得不停止服务，反之，kafka支持zk管理集群，增加或减少一台服务器，并不影响生产环境的服务，从而达到扩容效果

     高吞吐量、高水平扩展

三、Kafka消费者模型

     Kafka消息系统基于发布-订阅模式，相对于ActiveMQ，没有点对点消息处理机制。

1、分区消费模型

     2个kafka 服务器，4个分区（P0-P3） ，分区消费模型即为：1个分区对应1个消费实例，如图4个分区，需要4个消费者实例从分区中取数据。

2、分区消费编码思路

    （1）获取分区的size，一共多少个分区；

    （2）针对每一个分区，分别创建一个线程，去消费该分区的数据

    （3）每个线程即为一个消费者实例，通过连接；执行消费者构建；消费offset （偏移量）；记录消息偏移量。

3、组消费模型

     同样4个分区，P0-P3，这里使用GroupA，GroupB，GroupA可获取0，3，1，2分区的数据，GourpB也是。分组消费模型中，每个组都能拿到kafka集群当前全量数据。

4、组消费实现思路

  （1）获取group里有多少个consumer实例

  （2）根据实例个数，创建线程

  （3）执行run方法，启动消费

四、Kafka生产者模型

1、同步生产模型

     发送一条消息，如果没有收到kafka集群的确认收到的信号，则再次重发，直到发送次数超过设置的最大次数为止。其中有一次收到了确认，就接着发送下一条消息。

2、异步生产模型

     消息发送到客户端的缓冲队列中，如果队列中条数到了设置的队列最大数或存放时间达到最大值，就把队列中的消息打包，一次性发送给kafka服务端。

3、同步、异步对比

同步生产模型:

（1）低消息丢失率；

（2）高消息重复率；

（3）高延迟，低吞吐量，每发一条，都要等着确认之后才继续发下一条

异步生产模型:

（1）低延迟;

（2）高发送性能；

（3）高消息丢失率(无确认机制，发送端队列满)，不等待确认就直接发下一个，如果发送的队列已经满了，那接着发的消息就全丢失。另外队列满了发送给服务器，也无确认机制，整个队列就丢了。

4、应用场景

     要求不能丢消息，对吞吐量没要求，使用同步

     日志处理等，丢了几条也可接受，但对吞吐量要求极高，采用异步