kafka 生产者发送流程

 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 

kafka的基础架构:
kafka 生产者发送流程_第1张图片
Kafka生产者发送流程详解 :​​​
        拦截器
        序列化器
        分区器
kafka 生产者发送流程_第2张图片

 生产者端由两个线程协调完成,分别是main线程和Sender线程。main线程在将消息通过拦截器、序列化器和分区器处理后缓存到消息累加器(RecordAccumlator)中。Sender线程负载从RecordAccumulator中获取消息并将其发送到Kafka集群中。

  • main线程:在客户端将数据放入双端队列里
  • Sender线程:从队列里读取数据发送到kafka集群
  • DQueue:双端队列,每个分区对应一个双端队列。队列中的内容就是ProducerBatch,即DQueue,写入缓存时放入尾部,Sender读取消息时从头部读取。
  • batch.size:只有数据积累到batch.size之后,sender才会取数据发送,默认大小为16k。
  • linger.ms:如果数据迟迟没有到达batch.size,那么sender线程在等待linger.ms设置的实践到达后就会取数据发送。&#x

你可能感兴趣的:(mysql,数据库)