kafka高效读写的原因

kafka高效读写的原因

1.顺序写磁盘
kafka的producer在生产数据的时候会将数据顺序追加到log文件的末端，这样减少了大量的磁头寻址时间，比随机写要快很多
2.零拷贝技术
kafka中的消费者在读取服务端的数据时，需要将服务器端的磁盘文件通过网络发送到kafka进程，网络发送需要经过几种网络节点。如图所示：

传统的读取文件数据并发送到网络的步骤如下
（1）操作系统将数据从磁盘文件中读取到内核空间中的页面缓存；
（2）应用程序将数据从内核空间读取到用户空间缓冲区；
（3）应用程序将读到数据写回内核空间并放入到socket缓冲区；
（4）操作系统将数据从socket缓冲区复制到网卡接口，此时数据才能通过网络发送

通常情况下，kafka的消息会有多个订阅者，生产者发布的消息会被不同的消费者多次消费，为了优化这个流程，kafka使用了“零拷贝技术”，如下图所示

“零拷贝技术”只用将磁盘文件中的数据复制到页面缓存中一份，然后将数据直接从页面缓存直接发送到网络中（发送给不同的订阅者时，都可以使用同一个页面缓存），避免了重复复制操作。
如果有十个消费者，传统方式下，数据复制次数为4*10=40次，而使用“零拷贝技术”只需要1+10=11次，一次为磁盘复制到页面缓存，10次表示10个消费者各自读取一次页面缓存。

3.zk在kafka中的作用
kafka集群中有一个broker会被选举成controller，负责管理集群的broker的上下线，所有的topic分区副本分配和leader的选举工作。controller的管理工作都依赖于zk。