Redis持久化的取舍和选择:RDB和AOF

Redis持久化的取舍和选择

持久化的作用

• 什么是持久化

  redis将内存中的数据保存到磁盘

• 持久化实现方式

  • 快照
    mysql dump, Redis RDB
  • 写日志
    mysql Binlog, Hbase Hlog ,Redis AOF

RDB

• 什么是RDB
  二进制RBD文件，快照文件，可以用作复制媒介
• 触发RDB的三种方式
  save命令：同步执行
  文件策略：如存在老的RBD文件，会替换
  O(n)时间复杂度
  bgsave命令：异步执行
  使用linux的fork()函数产生redis子进程createRBD生成文件
  
  文件策略：与save相同
  
  自动生产RDB
  Redis的默认配置，缺点，不好控制，默认名字 dump.rdb
  满足任意一个条件，redis就会使用bgsave创建RDB文件
  
  对应配置文件里面的配置就是以上三个配置，表示在900s 内存一个对象，300s内存10个对象，60s内存10000个对象时就会自动触发RDB的持久化。

使用经验：

不使用自动生成，文件名使用 dump-${port}.rdb,路径自己设置
stop-writes-on-bgsave-error yes 写入错误时停止
rdbcompression yes 开启压缩rdb
rdbchecksum yes 检验和

• 触发机制-不容忽略的生成RDB方式

  1. 全量复制
     主从复制时会生成RDB
  2. debug reload会生成
  3. shutdown save

• 实验
  测试save阻塞
  bgsave的非阻塞，立即返回，子进程生成RDB文件
  文件策略，新的RDB文件覆盖old文件

AOF

• RBD的现存问题
  1.耗时，消耗性能：
  O(n)时间复杂度
  fork()调用消耗内存，采用的是copy-on-write策略
  磁盘IO
  2.不可控，丢失数据
  宕机时丢失2次RDB之间数据

• 什么是AOF
  写入命令追加到AOF文件，重启时载入恢复

• AOF的三种策略
  命令是先写到缓冲区，再根据策略刷到硬盘
  appendonly always/everysec/no

策略	always	everysec	no
行为	每条命令fsync到硬盘	每秒把缓冲区fsybc到硬盘	OS决定什么时候来把缓冲区的命令写到硬盘
特点	不丢失数据，IO开销大，硬盘压力	可能会丢失某一秒的数据	不用管，不可控

通常使用everysec模式

• AOF重写
  AOF文件很大时，redis重启进行恢复需要很长的时间。
  AOF重写即是，把重复的，无效的命令，过去数据等进行优化，化简再进行AOF写入，目的是减少磁盘占用，加速恢复的速度。
  AOF重写方式：
  
  • bgwriteaof 利用子进程将内存中的数据回溯成aof文件
  • AOF重写配置

auto-aof-rewrite-min-size #AOF文件重写需要的大小
auto-aof-rewrite-percentage #AOF文件增长率

aof_current_size #AOF当前尺寸
aof_base_size #AOF上次启动和重写的尺寸（字节）

满足触发AOF重写条件：
aof_current_size > auto-aof-rewrite-min-size
或
增长率=(aof_current_size - aof_base_size)/aof_base_size，增长率达到auto-aof-rewrite-percentage设置

AOF配置：（aof支持动态配置）

appendonly yes  #开启aof
appendfilename "appendonly-${port}.aof" #aof文件名
appendfsync everysec  #aof策略
dir xxx #保存路径
no-appendfsync-on-rewrite yes #在重写时是否不需要append,这个配置需要根据实际权衡，
#因为在重写的同时进行append会有性能开销，
#当然如果不append也可能会丢失少量数据，以性能为优先的时候关闭append

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

RDB和AOF的选择

• RDB与AOF比较
  
• RDB‘最佳策略’
  
  • 关闭RDB
  • 集中管理
  • 主从，从节点开启，注意配置
• AOF‘最佳策略’
  
  • 开启aof：缓存和存储
  • AOF集中管理
  • everysec策略
• 最佳策略
  
  • 小分片 maxmemory
  • 缓存或存储
  • 监控：硬盘，内存，负载，网络
  • 足够内存，不要布满，注意有些操作需要额外内存