关于文件cache和持久化问题
FILE系列函数:
fopen,fclose,fflush,setbuf,fwrite,fread
通过fopen打开的文件,默认在用户空间会开一个buf,一般是4K或8K, fwrite的数据会写到这块用户空间的buf中, 此时数据对外不可见,因为还在进程的buf空间中; 满了之后调用fd的write函数写入系统buffer, 此时数据对外部用户已经可见,但实际上还没有到物理硬盘中.
如果想禁用FILE的用户空间buf,可以通过setbuf进行设置.
fflush只是把用户空间的buf flush到系统buffer中,并没有到物理硬盘,所以还是会导致数据丢失(断电情况下).
数据一旦到系统buffer中, 进程crash数据是不会丢失的,只有down机才会导致数据丢失.
FD系列函数:
open,close,fsync,fdatasync,write,read
open有很多种模式, 关系到cache问题的有O_DIRECT和O_SYNC两个. O_DIRECT是指禁用该fd的系统cache,所有的读取和写入都直接到硬盘IO,因为用户空间自己做了读写cache. O_SYNC会保证每个write的数据持久到硬盘后再返回.
默认情况下open的fd, write会保证数据写入到系统buffer中,不保证到硬盘; 例外情况参见open的O_DIRECT和O_SYNC模式.
fsync和fdatasync会保证数据持久化到硬盘.
有些硬盘可能会有自己的通过电池驱动的写cache,这时候fsync也不能保证数据持久化到硬盘;但由于有电池驱动,即使断电也不会丢失数据.
MMap系列函数：
mmap, munmap, msync
mmap后，对空间的每次读写都是直接进入到系统page cache中，外部程序可见。但是同FD系列函数一样，page cache中如果要持久化到硬盘，需要调用msync。
参看man时,需要特别注意NOTES章节