读薄《PostgreSQL内核分析》：存储管理

0. 前言

主要记录对彭智勇和彭煜玮老师所著《PostgreSQL数据库内核分析》一书的观后总结，用于读薄这本经典著作，同时也方便自己时常温习，加深印象。

1. 存储管理器的体系结构

PostgreSQL的存储管理器包括两个功能：内存管理和外存管理。除了管理内存和外存的交互，存储管理器的另一个主要任务是对内存进行统筹安排和规划。

图3-1.png

【内存管理】

包括共享内存、本地内存、内存上下文、缓冲区的管理。

共享内存管理：
共享内存中存储了所有进程的公共数据，例如锁变量、进程通信状态、共享缓冲区中的页面块等。
本地内存管理：
为每个后台进程所专有，是他们的工作区域，存储着属于该进程的Cache(高速缓存)、事务管理信息、进程信息等。
内存上下文管理：
内存上下文（MemoryContext）用于统一管理内存分配和回收。
缓冲区管理：
磁盘中的文件块读入内存，被存放在缓冲区中, 称之为页面块或缓冲块。一个标准缓冲块大小为8K。PG设立了共享缓冲池（SharedBufferPool）和本地缓冲池。

共享内存中的机制：

1. 轻量级锁机制：用于防止多个进程并发访问共享内存中的数据发生冲突。
2. 进程间通信（IPC）机制：在进程之间进行通信和消息传递，使用消息队列同步进程之间的无效信息，还提供了对共享内存的管理。
3. 共享缓冲池（shared buffer）机制：存储在进程之间共享的页面块。

本地内存中的机制

1. 本地缓冲池机制：存储进程私有的页面块。
2. Cache机制：将进程最近使用的一些系统数据缓存在其私有内存中，级别高于缓冲池。

【外存管理】

包括表文件管理、可见空间（VM）管理、空闲空间（FSM）管理、虚拟文件描述符（VFD）管理以及大数据存储管理等。
表文件管理：
PostgreSQL中每个表都用一个文件（表文件）存储，并以OID命名。文件大小超出限制，自动拆分并在文件名尾部加上顺序号以标识。
可见空间（VM）管理和空闲空间（FSM）管理：
每个表除了表文件外还有两个附属文件：VM（可见性映射表文件）和FSM（空闲空间映射表文件）。前者用于加快VACUUM的速度，后者用于快速定位到表文件中的空闲空间
虚拟文件描述符（VFD）管理：
为避免操作系统对进程打开文件数的限制引入的机制，使得后台进程可以打开“无数多个”文件。
大数据存储管理：
支持大对象和TOAST机制。

2. PG进程读写元组的过程

【读取元组】

1）读取一个元组时，首先需要获取表的基本信息（如表的OID、索引信息、统计信息等）以及元组的模式信息，这些信息被分散记录在多个系统表中。为减少对系统表的访问，在每个进程的本地内存区域设置了两种Cache, 一种用来存储系统表元组，一种用来存储表的基本信息。从而可以让进程以很高的效率快速构建出表的基本信息和元组的模式结构。
2）获取到表的基本信息和元组模式信息后，接下来就需要读取元组所在的文件块来获得元组的数据。PG首先从共享缓冲池中查找所需的缓冲块，如果能找到，直接从中取出元组的数据并和上一步得到的模式信息解析出元组的各个属性值。如果找不到，则要读入文件块，再从中获取元组数据。PG除了设置共享缓冲池外，还为每个进程设置了本地缓冲池，用于缓存临时表数据及其他进程不可见之数据。
3）如果缓冲池中没有所需缓冲块，则需从存储介质中读取，并写入缓冲区。缓冲区和存储介质的交互式通过存储介质管理器（SMGR）进行的。PG12之前仅支持对磁盘管理器的管理。磁盘管理器辅助存储在磁盘上所有文件的操作。
4）磁盘管理器和物理文件之间还存在一层VFD机制。在VFD模块，维护一个LRU池来管理实际文件描述符，已达到使用有线个实际文件描述符来达到无限个VFD访问需求。

【写入元组】

1）写入元组时，需要使用一定策略找到一个具有合适空闲空间的缓冲块，将该元组装填到缓冲块中。系统会在适当的时候将这些被写入数据的缓冲块刷回存储介质。为了加快查找速度，PG为每个表增加了一个辅助文件，即空闲空间映射表（FSM），用于记录每个表文件块的空闲空间大小。
2）PG使用标记删除的方式处理元组的删除。显然，在VACUUM时遍历所有文件块去查找被删除的元组也是很低效的，PG为表实际了一个附属文件VM来加快查找速度。
3）在写入元组时，如果元组大小超过一定限制，会自动触发TOAST机制。用户可调用PG提供的接口函数来存储并使用大对象。