PostgreSQL WAL 幂等性详解

1. WAL简介

WAL（Write-Ahead Logging）是PostgreSQL的核心机制之一。其基本理念是：在修改数据库数据页之前，必须先将这次修改操作写入到WAL日志中。
这确保了即使发生崩溃，数据库也可以根据WAL日志进行恢复。

恢复的核心流程就是不断**Replay（重做）**WAL记录，把数据库恢复到一致状态。

2. 为什么需要幂等性？

故障恢复可能发生在任意时刻，且可能反复进行。为了确保数据一致性，必须保证：

• WAL重放（replay）是幂等的：即多次重做同样的WAL记录，最终结果与只做一次是一样的。
• 防止重复执行逻辑修改，避免出现脏数据（如重复插入、更新错误等）。

没有幂等性，PostgreSQL的可靠性和数据完整性就无从谈起。

3. PostgreSQL 如何实现 WAL 的幂等性？

分情况讨论：

3.1 物理日志（Full Page Write, FPW）

• 当首次修改某个page时，如果遇到检查点之后第一次修改，或者出现了部分写（partial write）风险时，PostgreSQL会将整个page的物理镜像写入WAL。
• 恢复时直接拷贝覆盖，无需考虑page上的状态。
• 因为是整页覆盖，所以天然是幂等的。重复应用多次，结果不会变。

注：FPW是恢复的"大杀器"，确保即使发生中间页损坏，也能恢复。

3.2 逻辑日志（Insert/Update/Delete操作记录）

• 日志并不是直接记录"修改了page的哪一块物理位置"，而是记录在什么page上执行了什么逻辑操作。
• 例如：在某个page上插入一条tuple "X"，而不是"在page偏移offset=32的地方插入"。
• 如果简单地无脑重做，恢复两遍就会出现重复记录。

为避免此问题，PostgreSQL每个page在物理结构中维护了一个字段：pd_lsn，即Page LSN。

• 当一个page被修改时，它的pd_lsn被更新为当前WAL record的LSN。
• 恢复时，每次要重放一个WAL record之前，PostgreSQL会先检查：
  只有当 WAL record 的 LSN > page 的 pd_lsn 时，才进行重做，否则跳过。

3.3 流程示意图

恢复 -> 读取WAL record -> 找到要修改的Page ->

比较 (WAL record LSN vs Page pd_lsn)

   -> 如果 WAL LSN <= Page LSN, 说明已经做过，跳过

   -> 如果 WAL LSN > Page LSN, 执行修改，更新Page LSN

这种机制可以保证：即使崩溃后在同一个地方反复重做日志，也不会对数据造成破坏。

4. 实验验证 PostgreSQL WAL 幂等性

下面用一个小实验验证pg的WAL幂等性：

4.1 实验环境准备

initdb -D /tmp/pgwaltest

pg_ctl -D /tmp/pgwaltest -l logfile start

psql

4.2 创建表并插入数据

CREATE TABLE test_wal (id serial PRIMARY KEY, val text);

INSERT INTO test_wal(val) VALUES('first insert');

CHECKPOINT;  -- 强制生成检查点，防止混入无关WAL

这时test_wal表中有一条数据，系统生成了新的检查点。

4.3 查看Page LSN

PostgreSQL提供了扩展 pageinspect 来查看物理Page的信息。

安装并使用：

CREATE EXTENSION pageinspect;

-- 找出表的物理文件

SELECT relfilenode FROM pg_class WHERE relname = 'test_wal';

-- 假设relfilenode是 16384

-- 查看page的LSN（第一页）

SELECT * FROM page_header(get_raw_page('test_wal', 0));

会返回：

lsn  | checksum | flags | lower | upper | special | pagesize | version | prune_xid

------+----------+-------+-------+-------+---------+----------+---------+-----------

0/1500720 |    ...   |       |   ... |   ... |    ...   |    8192  |    4    |    ...

记录下当前Page的LSN，比如是0/1500720。

4.4 模拟崩溃后重复恢复

手动重放WAL当然很复杂，但可以模拟：

1. 手动修改page LSN，使其低于WAL日志的LSN；
2. 重启数据库，触发recovery。

不过这样太麻烦，我们可以简单理解为：

• 如果page LSN已经大于WAL record的LSN，那么即使WAL被Replay，也不会改动页面。

4.5 直接实验重复写入一条相同数据：

-- 模拟意外重复插入

INSERT INTO test_wal(val) VALUES('first insert');

-- 应该报错，因为违反唯一约束（id列），而不是"无脑"插两遍

说明PostgreSQL在逻辑层也有幂等保护，比如：

• 主键/唯一约束
• page LSN校验
• XID（事务ID）检测

5. 注意事项和补充

• FPW（Full Page Writes）必须打开，否则遇到partial write会导致崩溃后无法恢复。
• 极端情况下，日志丢失（比如WAL损坏）仍然会导致恢复失败，因此建议使用流复制+归档备份双保险。
• WAL日志管理工具（如pg_waldump）可以辅助查看日志内容，帮助理解。

示例：

pg_waldump /tmp/pgwaltest/pg_wal/

可以看到诸如：

rmgr: Heap        len (rec/tot):  54/ 54, tx: 490, lsn: 0/01500280, desc: INSERT off 2

显示了一个Heap表上的insert动作及其LSN。

总结

• PostgreSQL WAL重放过程是严格幂等的。
• 物理日志天然幂等，逻辑日志依赖于Page LSN机制保证幂等。
• 实现细节涵盖了page级别和事务级别的双重校验。
• 实验验证了幂等机制的有效性。

PostgreSQL通过这些设计，确保即使在最坏情况下崩溃恢复，也能保证数据一致性和正确性。