如何设计一个日志系统

提高本地日志文件的读取效率

如何统计读取时间

mach_absolute_time()函数

mach_absolute_time是一个CPU/总线依赖函数，返回一个基于系统启动后的时钟”嘀嗒”数

CGFloat timeCalculate (void(^block)(void)){
    mach_timebase_info_data_t info;
    if (mach_timebase_info(&info) != KERN_SUCCESS) return -1.0;
    
    uint64_t start = mach_absolute_time();
    if (block) {
        block();
    }
    uint64_t end = mach_absolute_time();
    uint64_t delta = end - start;
    uint64_t nanos = delta * info.numer / info.denom;
    return (CGFloat)nanos/NSEC_PER_SEC;
}

读取文件方式

• 写文件在本地沙盒
  优点：不易丢失
  缺点：频繁调用系统内核API，读取速度慢，IO消耗大，耗电增大

平常我们读取磁盘上的一个文件，上层API调用到最后会使用系统方法read()读取数据，内核把磁盘数据读入内核缓冲区，用户再从内核缓冲区读取数据复制到用户内存空间，这里有一次内存拷贝的时间消耗，并且读取后整个文件数据就已经存在于用户内存中，占用了进程的内存空间

• 将文件写在内存缓存里，合适时候再写入沙盒
  优点：读取速度快
  缺点：容易丢失（app进程被杀掉）

• MMAP(内核地址空间映射到用户进程)
  mmap 省掉了内核空间与用户进程空间的拷贝，数据直接写在内核空间中，内核按照一定的策略（LRU，时钟工作集，老化）把脏页面写回磁盘中。即使用户进程crash，被kill 也不会丢数据。
  优点：写入速度几乎和内存访问速度一样，不会丢数据。

使用mmap还能保证日志的完整性，因为如下这些情况下回自动回写磁盘：

• 内存不足
• 进程 crash
• 调用 msync 或者 munmap
• 不设置 MAP_NOSYNC 情况下 30s-60s(仅限FreeBSD)

MMAP VS 从硬盘读取文件到内存

• 从硬盘读取文件到内存：需要先将数据拷贝到CPU高速缓冲区，再从高速缓冲区读取到进程的内存物理地址空间
• MMAP：省去将数据拷贝到CPU高速缓冲区，直接将文件内容的一部分或全部映射到进程的内存物理地址空间。mmap并不分配物理地址空间，它只是占有进程的虚拟地址空间，当发现pageFault,将磁盘数据直接映射到物理内存

Q

• 为什么使用了memcpy,不使用msync和munmap
• 为什么使用memcpy，会自动把内容同步到磁盘
• 什么是内核空间，脏页面是什么，数据直接写到内核空间里，内核空间会不会暴涨

参考

• 高性能日志记录方式 - mmap
• Tutorial performance and time
• iOS文件内存映射详解(mmap)
• iOS mmap 洪荒之力
• test-mapped-log.c
• 使用XLog、Spring-Boot、And-Design-Pro搭建日志系统
• 微信终端跨平台组件 mars 系列（一） - 高性能日志模块xlog
• 微信高性能线上日志系统xlog剖析