Linux 缓存I/O和IO技术讲解

1 缓存IO

  缓存I/O又被称作标准I/O，目前大多数操作系统中的文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，数据先从磁盘复制到内核空间的缓冲区，然后从内核空间缓冲区复制到应用程序的地址空间。缓存I/O使用操作系统内核缓冲区，在一定程度上分离了应用程序空间与实际的物理设备，它能够减少读取磁盘的次数，进而提高I/O效率。
   读操作：操作系统检查内核的缓冲区有没有需要的数据，如果已经缓存了，那么就直接从缓存中返回；否则从磁盘中读取，然后缓存在操作系统的缓存中。

• 读取： 硬盘 ->内核缓冲区 -> 用户缓冲区
     写操作：将数据从用户空间复制到内核空间的缓存中。这时对用户程序来说写操作就已经完成，至于什么时候再写到磁盘中由操作系统决定，除非显示地调用了sync同步命令。
• 写入： 用户缓冲区->内核缓冲区 ->硬盘

正常的系统调用read/write的流程如下：

• read： 硬盘 ->内核缓冲区 -> 用户缓冲区
• write: 数据会从用户地址空间拷贝到操作系统内核地址空间的page cache中，这时write就会直接返回，操作系统会在恰当的时候将其刷至磁盘。

   缓存I/O的缺点：数据在传输过程中需要在应用程序地址空间和缓存之间进行多次数据拷贝操作，这些数据拷贝操作所带来的CPU以及内存开销是非常大的。

2 I/O技术

2.1 标准访问文件的方式

   在 Linux 操作系统中中，通过两个系统调用（ read() 和 write()）来实现文件访问。。当应用程序调用 read() 系统调用读取一块数据的时候，如果该块数据已经在内存中了，那么就直接从内存中读出该数据并返回给应用程序；如果该块数据不在内存中，那么数据会被从磁盘 上读到页高缓存中去，然后再从页缓存中拷贝到用户地址空间中去。如果一个进程读取某个文件，那么其他进程就都不可以读取或者更改该文件；对于写数据操作来 说，当一个进程调用了 write() 系统调用往某个文件中写数据的时候，数据会先从用户地址空间拷贝到操作系统内核地址空间的页缓存中去，然后才被写到磁盘上(图1)。但是对于这种标准的访问文件的 方式来说，在数据被写到页缓存中的时候，write() 系统调用就算执行完成，并不会等数据完全写入到磁盘上。在Linux 中称为延迟写机制（ deferred writes ）。
            图1 以标准方式进行读写

2.2 同步访问文件的方式

   同步访问文件的方式与上述标准访问文件方式相类似，这两种方法最大区别就是：同步访问文件的时候，写数据的操作是在数据完全被写回磁盘上才算完成的(图2)；而标准访问文件方式的写数据操作是在数据被写到页高速缓冲存储器中的时候就算执行完成了。
            图2 同步访问文件的方式

2.3 内存映射方式

   在Linux 中，内存区域（ memory region ）是可以跟一个普通的文件或者块设备文件的某一个部分关联起来的，若进程要访问内存页中某个字节的数据，操作系统就会将访问该内存区域的操作转换为相应的 访问文件的某个字节的操作。
   Linux 中提供了系统调用 mmap() 来实现这种文件访问方式(图3)。与标准的访问文件的方式相比，内存映射方式可以减少标准访问文件方式中 read() 系统调用所带来的数据拷贝操作，即减少数据在用户地址空间和操作系统内核地址空间之间的拷贝操作。映射通常适用于较大范围，对于相同长度的数据来讲，映射 所带来的开销远远低于 CPU 拷贝所带来的开销。当大量数据需要传输的时候，采用内存映射方式去访问文件会获得比较好的效率。
            图3 内存映射方式

直接IO
   直接IO就是应用程序直接访问磁盘数据，而不经过内核缓冲区，这样做的目的是减少一次从内核缓冲区到用户程序缓存的数据复制(图4)。比如说数据库管理系统这类应用，它们更倾向于选择它们自己的缓存机制，因为数据库管理系统往往比操作系统更了解数据库中存放的数据，数据库管理系统可以提供一种更加有效的缓存机制来提高数据库中数据的存取性能。
            图4 直接IO方式

   直接IO的缺点：如果访问的数据不在应用程序缓存中，那么每次数据都会直接从磁盘加载，这种直接加载会非常缓存。通常直接IO与异步IO结合使用，会得到比较好的性能。（异步IO：当访问数据的线程发出请求之后，线程会接着去处理其他事，而不是阻塞等待）

2.5 异步访问文件的方式

  Linux 异步访问文件其本质思想：进程发出数据传输请求之后，进程不会被阻塞，也不用等待任何操作完成，进程可以在数据传输的时候继续执行其他的操作(图5)。相比于同步访问文件的方式来说，异步访问文件的方式可以提高应用程序的效率，并且提高系统资源利用率。直接 I/O 经常会和异步访问文件的方式结合在一起使用。
            图5 异步访问文件的方式

参考：https://blog.csdn.net/pakko/article/details/8779110
该文为本人原创，转载请表明出处。