18-kafka高效读写数据

题目:kafka高效读写数据


答案:

(1)kafka本身是分布式集群,可以采用分区技术,并行度高
(2)读数据采用稀疏索引,可以快速定位要消费的数据
(3)顺序写磁盘
kafka的producer生产数据,要写入到log文件中,写的过程一直追加到文件末端,为顺序写。官网有数据表明,顺序写能到600m/s,而随机写只有100k/s。这与磁盘的机械结构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。
18-kafka高效读写数据_第1张图片
(4)页缓存+零拷贝技术
18-kafka高效读写数据_第2张图片


你可能感兴趣的:(kafka面经复习,kafka,分布式,zookeeper)