kafka高性能之-顺序读写

前言

Kafka是将消息记录持久化到本地磁盘中的来确保kafka能对海量数据进行处理，通常来看磁盘读写性能差，但是kafka确通过磁盘顺序读写来提升整体的IO性能。

顺序读写性能对照表：

这里明显能看出，顺序读写不论是内存还是磁盘都要远远高于随机读写。

那么问题来了为什么顺序读写的性能要高于随机读写，这里抛开linux内核对顺序读写的优化，单从磁盘（机械硬盘和固态硬盘）原理来看顺序读写带来的性能提升，

机械硬盘：

机械硬盘的结构一个唱片机，它有一个旋转的盘片和一个能沿半径方向移动的磁头。处理读取和写入请求时，首先可以根据请求的开始地址算出要处理的数据在磁盘上的位置，之后要进行以下几步工作：

1、磁头沿半径方向移动，直至移动到数据所在的柱面（相同半径的磁道组成的环面）

2、盘片高速旋转，使磁头到达数据的起始位置

3、磁头沿磁道从磁盘读取或写入数据

当一次读取的数据量很少的时候，1、2步骤带来的开销是无法忽略的，这使得随机写相对于顺序写会有巨大的性能劣势。因为在顺序写的时候，1、2步骤只需要执行一次，剩下的全是数据传输所需要的固有开销；而每次随机写的时候，前两个步骤都需要执行，带来了极大的额外开销。