redis笔记-数据库之过期键删除策略

2016-1-7 by Atlas

---

基础指令篇提到过EXPIRE、PEXPIRE、EXPIREAT、PEXPIREAT四个过期键的命令，表达过期键删除策略前先重温一下这个四个命令的详细过程。

* 设置过期时间

• EXPIRE ---转换成---> PEXPIRE

def EXPIRE(key,ttl_in_sec):
        // 将TTL从秒转换成毫秒
        ttl_in_ms = sec_to_ms(ttl_in_sec)
        // 调用PEXPIRE
        PEXPIRE(key,ttl_in_ms)

• PEXPIRE ---转换成---> PEXPIREAT

def PEXPIRE(key,ttl_in_ms):
        // 获取以毫秒计算的当前UNIX时间戳
        now_ms = get_current_unix_timestamp_in_ms()
        // 当前时间加上TTL，得出毫秒格式的键过期时间
        PEXPIREAT(key,now_ms+tll_in_ms)

• EXPIREAT ---转换成---> PEXPIREAT

def EXPIREAT(key,expire_time_in_sec):
        // 将过期时间从秒转换成毫秒
        expire_time_in_ms = sec_to_ms(expire_time_in_sec)
        // 调用PEXPIREAT
        PEXPIREAT(key,expire_time_in_ms)

EXPIRE、PEXPIRE、EXPIREAT都适配成PEXPIREAT，由PEXPIREAT函数具体实现键的过期操作。

def PEXPIREAT(key,expire_time_in_ms):
        // 如果给定的键不存在于键空间，那么不能设置过期时间
        if key not in redisDb.dict:
                return 0
        // 在过期字典中关联键和过期时间
        redisDb.expires[key} = expire_time_in_ms
        // 过期时间设置成功
        return 1

* 过期键删除策略

redis默认删除策略组合是（惰性删除 + 定期删除）。

• 定时删除

策略：在设置键的过期时间的同时，创建一个定时器，让定时器在键的过期时间来临时，立即执行对键的删除操作。
优点：对内存友好，保证过期键会尽可能快地被删除，并释放过期键所占用的内存。
缺点：对CPU时间不友好，占用太多CPU时间，影响服务器的响应时间和吞吐量。

• 惰性删除

策略：放任过期键不管，每次从键空间读写操作时，都检查键是否过期，如果过期，删除该键，如果没有过期，返回该键。
优点：对CPU时间友好，读写操作键时才对键进行过期检查，删除过期键的操作只会在非做不可的情况下进行。
缺点：对内存不友好，只要键不删除，就不会释放内存，浪费太多内存，有内存泄漏风险。
实现：所有读写数据库的redis命令在执行前都会调用expireIfNeeded函数对输入键进行检查，如果输入键已经过期，那么expireIfNeeded函数就将过期键删除；如果输入键未过期，那么expireIfNeeded函数不作为。

• 定期删除

策略：对定时删除策略和惰性删除策略的一种整合和折中。每隔一段时间执行一次删除过期键操作，并通过限制删除操作执行的时长和频率来减少删除操作对CPU时间的影响；通过定期删除过期键，有效减少了因为过期键而带来的内存浪费。
难点：确定删除操作执行的时长和频率。执行太频繁，执行时间过长，就会退化成定时删除策略；执行得太少，执行时间太短，又会和惰性删除策略一样存在内存浪费的情况。
redis服务器使用惰性删除和定期删除两种策略，通过配合使用，很好地在合理使用CPU时间和避免浪费内存之间取得平衡。
实现：
1）在规定的时间内，分多次遍历服务器中的各个数据库；
2）从数据库的expires字典中随机检查一部分键的过期时间；
3）删除其中的过期键。
伪代码：

# 默认每次检查的数据库数量
DEFAULT_DB_NUMBERS = 16
# 默认每个数据检查的键数量
DEFAULT_KEY_NUMBERS = 20
# 全局变量，记录检查进度
current_db = 0
def activeExpireCycle():
        # 初始化要检查的数据库数量
        # 如果服务器的数据库数量比DEFAULT_DB_NUMBERS小
        # 那么以服务器的数据库数量为准
        if server.dbnum < DEFAULT_DB_NUMBERS:
                db_numbers = server.dbnum
        else:
                db_numbers = DEFAULT_DB_NUMBERS
        # 遍历各个数据库
        for i  in range(db_numbers):
                # 如果current_db的值等于服务器的数据库数量
                # 表示检查程序已经遍历了服务器的所有数据库一次
                # 将current_db重置为0，开始新一轮遍历
                if current_db == server.dbnum:
                        current_db = 0
                # 获取当前要处理的数据库
                redisDb = server.db[current_db]
                # 将数据库索引增1，指向下一个要处理的数据库
                current_db +=1
                # 检查数据库键
                for j in range(DEFAULT_KEY_NUMBERS):
                        # 如果数据库中没有过期键，那么跳过这个数据库
                        if redisDb.expires.size() == 0:break
                        # 随机获取一个带有过期时间的键
                        key_with_ttl = redisDb.expires.get_random_key()
                        # 检查键是否过期，如果过期就删除
                        if is_expired(key_with_ttl):
                                delete_key(key_with_ttl)
                        # 已经达到本次删除操作时间上限，停止处理
                        if reach_time_limit():return

* RDB功能对过期键的处理

如果服务器开启RDB功能。

• 生成RDB文件时：
  在执行SAVE命令或者BGSAVE命令创建一个新的RDB文件时，程序会对数据库中的键进行检查，已过期的键不会被保存到新创建的RDB文件中。
• 载入RDB文件时：
  1）如果服务器以主服务器模式运行，那么载入RDB文件时，程序会对文件中保存的键进行检查，未过期的键会被载入到数据库中，而过期的键则被忽略，所以过期键对载入RDB文件的主服务器不会造成影响。
  2）如果服务器以从服务器模式运行，那么载入RDB文件时，文件中保存的所有键，不论是否过期，都会被载入到数据库中。不过，主服务器在进行数据同步的时候，从服务器的数据库就会被清空，所以一般来讲，过期键对载入RDB文件的从服务器也不会造成影响。

* AOF功能对过期键的处理

如果服务器以AOF持久化模式运行。
如果数据库中的某个键已经过期，但它还没有被惰性删除或者定期删除，那么AOF文件不会因为这个过期键而产生任何影响。
当过期键被惰性删除或者定期删除之后，程序会向AOF文件中追加一条DEL命令，来显示地记录该键已被删除。
AOF重写的过程中，程序会对数据库中的键进行检查，已经过期的键不会被保存到重写后的AOF文件中。

* 复制功能对过期键的处理

主服务器在删除一个过期键之后，会显示地向所有的从服务器发送一个DEL命令，告知从服务器删除这个过期键。
从服务器在执行客户端发送的读命令时，即使碰到过期键也不会将过期键删除，而是继续像处理未过期的键一样来处理过期键。
从服务器只有接收到主服务器发来的DEL命令后，才会删除过期键。

参考文献：《redis设计与实现》