redis--持久化

redis持久化

在 Redis 中，持久化是一种将数据从内存写入到磁盘的机制，以便在服务器重启或崩溃时能够恢复数据。Redis 提供了两种主要的持久化方式：RDB（Redis Database Snapshot）和AOF（Append-Only File）。

RDB

RDB是Redis的一种持久化方式，用于将内存中的数据保存到硬盘，以防止数据在重启时丢失。它通过在指定的时间间隔内创建一个数据集的快照（或者快照文件），将其保存到磁盘上的二进制文件中。RDB持久化的主要目标是提供一种紧凑、高效、可靠的数据备份和恢复方式。

RDB 持久化流程

1. 生成快照触发
   手动触发： 可以使用SAVE或BGSAVE命令手动触发RDB快照生成。

   • SAVE命令：阻塞主线程，直到快照生成完成，期间Redis无法响应其他请求，不推荐使用。
   • BGSAVE命令：在后台异步生成快照，不阻塞其他操作，更常用。
     自动触发： 可以通过配置文件自动设置生成快照的时间间隔和阈值，当满足条件时自动触发生成快照。

2. 生成快照过程
   在如BGSAVE命令触发时，Redis会创建一个子进程（fork），该子进程将负责生成快照。子进程将内存中的数据复制到一个临时文件（临时RDB文件）中，以保证不干扰主进程的正常操作。

3. 快照文件替换：
   子进程完成快照生成后，快照文件会被重命名并替换上次生成的持久化文件。新生成的快照文件（dump.rdb）将备份在redis.conf中dir 配置项所指定的目录。如果默认开启了rdb，加载是也是从该路径加载快照文件，可以在redis.conf中修改dir路径。

4. 数据恢复
   使用备份的快照文件替换现有的RDB文件，当Redis服务器需要恢复数据时（比如重启后），它会加载最新的RDB文件。

RDB 持久化优缺点

RDB 持久化方式有以下几个优点：

• RDB 文件是一个紧凑且完整的数据集备份，可以用于灾难恢复或迁移。
• RDB 文件是一个二进制文件，加载速度比 AOF 文件更快。
• RDB 文件占用更少的磁盘空间，因为它只保存当前数据库状态，并且使用了压缩算法。
• RDB 文件对服务器性能影响较小，因为它只需要 fork 一个子进程来生成快照，并且不需要频繁地写入磁盘。

RDB 持久化方式也有以下几个缺点：

• RDB 文件不能保证数据完全不丢失，在两次生成快照之间发生故障时，可能会导致部分数据丢失。
• RDB 文件生成需要 fork 一个子进程，这会消耗一定的内存和CPU资源，如果数据集很大，可能会影响服务器的响应速度。
• RDB 文件恢复时，需要清空内存中的数据，然后重新加载 RDB 文件，这会导致服务器在一段时间内无法提供服务。

RDB 持久化适用场景

RDB 持久化方式适用于以下场景：

1. 数据的完整性要求不高，可以容忍一定程度的数据丢失。
2. 数据集较小，生成快照的时间和资源消耗较低。
3. 数据备份和恢复的频率较低，不需要实时地同步数据。

AOF

AOF是 Redis 提供的一种持久化机制，用于将写操作追加到一个日志文件中，以便在服务器重启或崩溃时能够恢复数据。AOF 持久化方式记录了所有写操作命令，因此可以更可靠地保护数据。AOF 和 RDB 同时开启，系统默认取 AOF 的数据（数据不会存在丢失）。

AOF 持久化的生成流程

默认情况下，AOF持久化是关闭的，可以通过修改redis.conf文件中的appendonly参数来开启或关闭AOF持久化。开启后，服务器会在启动时加载AOF文件，并在每次执行写命令后将命令追加到AOF文件中。

命令追加： 当客户端发送写操作命令（例如 SET、INCRBY 等）给 Redis 服务器时，这些写操作命令会被追加到 AOF 文件中，以 Redis 命令的形式。

追加顺序： 写操作命令按照它们发生的顺序被追加到 AOF 文件的末尾。这确保了写操作的顺序性。

同步选项： Redis 提供了不同的同步策略来将写操作命令同步到磁盘上的 AOF 文件。可以使用 always（始终同步）、everysec （每秒同步）或 no（不主动进行同步） 来设置同步频率。

重写机制： 为了避免 AOF 文件变得过大，Redis 提供了 AOF 重写机制。AOF 重写可以生成一个新的 AOF 文件，其中只包含与当前数据库状态一致的写操作命令。这个过程可以通过执行 BGREWRITEAOF 命令手动触发，也可以根据配置自动触发。

AOF 恢复流程

启动 Redis： 当 Redis 服务器启动时，它会检查是否启用了 AOF 持久化，如果启用了，则尝试加载 AOF 文件。

AOF 文件加载： Redis 会将 AOF 文件中的写操作命令逐一执行，以恢复数据库的状态。这个过程可以保证数据的完整性。

执行顺序： AOF 文件中的写操作命令会按照它们在 AOF 文件中的顺序被执行，确保了写操作的顺序性。

AOF重写原理

AOF重写的原理是根据Redis进程内的数据生成一个新的AOF文件，只包含当前有效和存在的数据的写入命令，而不是历史上所有的写入命令。这样可以减少AOF文件的大小，提高数据恢复的速度，以及节省磁盘空间。

AOF重写是通过fork出一个子进程来完成的，子进程会扫描Redis的数据库，并将每个键值对转换为相应的写入命令，然后写入到一个临时文件中。例如，如果一个列表键包含了五个元素，那么子进程会将这五个元素合并为一条LPUSH命令，而不是保留原来的五条RPUSH命令。这样可以有效地压缩AOF文件的内容。

在子进程进行AOF重写的过程中，主进程会继续处理客户端的请求，并将执行过的写命令追加到旧的AOF文件和一个缓冲区中。当子进程完成AOF重写后，它会向主进程发送一个信号，主进程收到信号后会将缓冲区中的写命令追加到临时文件中，然后用临时文件替换旧的AOF文件，完成AOF重写。

AOF重写可以手动触发，也可以自动触发。手动触发可以通过执行bgrewriteaof命令来实现。自动触发可以通过设置redis.conf文件中的auto-aof-rewrite-percentage和auto-aof-rewrite-min-size参数来实现。当AOF文件的大小比上一次重写后的大小增长了一定百分比，并且超过了一定字节数时，就会自动触发AOF重写。

AOF 持久化优缺点

AOF 持久化方式有以下几个优点：

• AOF 文件可以保证数据不丢失，即使服务器发生故障，也可以通过重放 AOF 文件中的命令来恢复数据。
• AOF 文件是一个纯文本文件，每一行记录了一个 Redis 写命令，格式简单易懂，便于人工查看和编辑。
• AOF 文件可以通过重写机制来减少文件大小，并且可以根据配置自动触发重写。
• AOF 文件对服务器性能影响较小，因为它可以根据需要设置不同的同步策略，并且不需要fork一个子进程来生成快照。

AOF 持久化方式也有以下几个缺点：

• AOF 文件可能会比 RDB 文件更大，因为它记录了所有的写操作命令，而不是只保存当前的数据状态。
• AOF 文件加载速度比 RDB 文件更慢，因为它需要逐一执行 AOF 文件中的命令，而不是直接加载二进制文件。
• AOF 文件可能会出现损坏或不完整的情况，如果在写入或同步过程中发生故障，可能会导致部分命令丢失或格式错误。为了避免这种情况，可以使用 redis-check-aof 工具来检查和修复 AOF 文件。

AOF 持久化适用场景

AOF 持久化方式适用于以下场景：

1. 数据的完整性要求很高，不能容忍任何程度的数据丢失。
2. 数据集较大，生成快照的时间和资源消耗较高。
3. 数据备份和恢复的频率较高，需要实时地同步数据。

RDB 和 AOF 的选择

RDB 和 AOF 是两种不同的持久化方式，它们各有优缺点和适用场景。在实际应用中，我们可以根据具体的业务需求和场景来选择合适的持久化方式。

以下是一些常见的选择原则：

• 如果数据的完整性要求很高，不能容忍任何程度的数据丢失，那么可以选择 AOF 持久化方式，并且设置 always 或 everysec 的同步策略。
• 如果数据的完整性要求不高，可以容忍一定程度的数据丢失，那么可以选择 RDB 持久化方式，并且设置合理的生成快照的时间间隔和阈值。
• 如果既想要保证数据的完整性，又想要提高数据恢复的速度，那么可以同时开启 RDB 和 AOF 持久化方式，并且设置 everysec 的同步策略。这样，在正常情况下，可以通过重放 AOF 文件来恢复数据；在异常情况下（比如 AOF 文件损坏或不完整），可以通过加载 RDB 文件来恢复数据。
• 如果想要提高服务器性能和降低资源消耗，那么可以关闭持久化功能，并且定期将数据备份到其他存储介质上。这样，在服务器发生故障时，可以通过手动恢复数据。