Kafka发送流程

Kafka发送流程_第1张图片

        首先我们要将外部数据导入到集群,首先在main线程中创建producer 对象,调用send方法发送数据,拦截器为可选项,通过序列化器对数据序列化,因为需要跨节点通讯,分区器会对每个数据进行分区,发送到指定分区;

        所谓的分区其实是一个缓存队列(双端队列),队列大小为32m,Batchsize为16k,Batchsize装满之后,或者lingerms时间到了,sender线程就来主动拉取数据;

        发送到集群后,如果没有及时应答,队列能缓存5个请求,selector负责打通底层链路,集群收到数据后进行一个副本的同步,同步完成后进行应答,应答级别有三种:

        0:生产者发送过来数据,不需等待数据落盘;

        1:生产者发送过来数据,需等待leader数据落盘应答;

        -1:生产者发送过来数据,需等待leader数据和所有的follower数据落盘应答;

        若应答成功,清理请求,清理分区(双端队列)里的数据,若没有成功,再不断地重试发送,直到成功。

你可能感兴趣的:(kafka,分布式)