PostgreSQL体系架构

本文转载自：PostgreSQL体系架构

基本体系结构

PostgreSQL 使用客户机/服务器（C/S）的模式提供服务，一个PostgreSQL会话由下列相关的进程（程序）组成：

(1)一个服务器端进程。该进程管理数据库文件，接受客户端与数据库的连接，且代表客户端对数据库进行操作。该进程的程序名叫做 postgres。

(2)前端应用，即需要进行数据库操作的客户端应用。客户端应用可能本身就是多种多样的：它们可以是一个字符界 面的工具， 也可以是一个图形界面的应用，或者是一个通过访问数据库来显示网页的 web 服务器，或者是一个特殊的数据库管理工具。 一些客户端应用是和 PostgreSQL 发布一起提供的，但绝大部分是用户开发的。

和典型的客户端/服务器应用（C/S应用）一样，客户端和服务器可以在不同的主机上。此时，它们通过TCP/IP进行网络连接，你应该记住这一点，因为在客户机上可以访问的文件未必能够在数据库服务器机器上访问（或者只能用不同的文件名进行访问）。

PostgreSQL 服务器可以处理来自客户端的多个并发请求。为了能这样处理，它会为每个请求启动（“forks”）一个新的进程，然后，客户端和新服务器端进程就不再经过最初的postgres 进程而直接通信。 因此， 服务器端的主进程一直运行，等待着来自客户端的连接；而客户端和相关联的服务器端进程则在需要的时候才会运行。（当然，这些对用户来说是透明的）

PostgreSQL数据库是一种可以运行在各种平台上的，免费的，开放源码的对象关系数据库，它是一种以关系数据库和SQL为基础，扩展了抽象数据类型，从而具备面向对象特性的数据库。

架构组成

PostgreSQL由连接管理系统（系统控制器），编译执行系统，存储管理系统，事务系统，系统表五大部分组成。

连接管理系统接受外部操作对系统的请求，对操作请求进行预处理和分发，起系统逻辑控制作用；

编译执行系统由查询编译器，查询执行器组成，完成操作请求在数据库中的分析处理和转化工作，最终实现物理存储介质中数据的操作；

存储管理系统由索引管理器，内存管理器，外存管理器组成，负责存储和管理物理数据，提供对编译查询系统的支持；

事务系统由事务管理器，日志管理器，并发控制，锁管理器组成，日志管理器和事务管理器完成对操作请求的事务一致性支持，锁管理器和并发控制提供对并发访问数据的一致性支持；

系统表是PostgreSQL数据库的元信息管理中心，包括数据库对象信息和数据库管理控制信息。系统表管理元数据信息，将PostgreSQL数据库的各个模块有机地连接在一起，形成一个高效的数据管理系统。

系统表

在关系数据库中，为了实现数据库系统的控制，必须提供数据字典的功能。数据字典不仅存储各种对象的描述信息，而且存储系统管理所需的各种对象的细节信息。数据字典包含数据库系统中所有对象及其属性的描述信息，对象之间关系的描述信息，对象属性的自然语言含义以及数据字典变化的历史，数据字典是关系数据库系统管理控制信息的核心，在PostgreSQL数据库系统中系统表扮演着数据字典的角色。

系统表是PostgreSQL数据库存放结构元数据的地方，他在PostgreSQL中表现为存放有系统信息的普通表或者视图（用户可以删除，重建）。

系统表保存了数据库的所有元数据，所以系统运行时对系统表的访问是非常频繁的。为了提高系统性能，在内存中建立了共享的系统表，使用Hash表提高查询效率。

主要系统表功能

1.pg_namespace 存储命名空间

2.pg_tablespace 存储空间信息

3.pg_database 存储当前数据集簇中数据库的信息。

4.pg_class 存储表及与表类似结构的数据库对象信息，包含，索引，序列，视图，复合数据类型，TOAST表等。

5.pg_type 存储数据类型信息。

6.pg_attribute 存储表的属性信息。

7.pg_index 存储索引的具体信息。

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

启动流程

PostgreSQL数据库系统的主要功能都集中于Postgres程序，其入口是Main模块中的main函数，在初始化数据集簇，启动数据库服务器时，都将从这里开始执行。Main模块主要的工作是确定当前的操作系统平台，并据此做一些平台相关的环境变量设置和初始化，然后通过对命令行参数的判断，将控制转到相应的模块中去。下图是main函数的调用流程。

PostgreSQL守护进程Postmaster为用户连接请求分配后台Postgres服务进程，还将启动相关的后台服务进程：SysLogger(系统日志进程),PgStat(统计数据收集进程),AutoVacuum(系统自动清理进程)。在Postmaster进入到循环监听中时启动如下进行：BgWriter(后台写进程),WalWriter(预写式日志写进程),PgArch(预写式日志归档进程)。这些进程将在下文中介绍。

下图是PostgreSQL的后台流程图：

进程解析

Postgres(常驻进程)

管理后端的常驻进程，也称为’postmaster’。其默认监听UNIXDomain Socket和TCP/IP的5432端口，等待来自前端的的连接处理。监听的端口号可以在PostgreSQL的设置文件postgresql.conf里面可以改。

一旦有前端连接过来，postgres会通过fork(2)生成子进程。没有fork(2)的windows平台的话，则利用createProcess()生成新的进程。这种情形的话，和fork(2)不同的是，父进程的数据不会被继承过来，所以需要利用共享内存把父进程的数据继承过来。

Postgres(子进程)

子进程根据pg_hba.conf定义的安全策略来判断是否允许进行连接，根据策略，会拒绝某些特定的IP及网络，或者也可以只允许某些特定的用户或者对某些数据库进行连接。

Postgres会接受前端过来的查询，然后对数据库进行检索，最好把结果返回，有时也会对数据库进行更新。更新的数据同时还会记录在事务日志里面（PostgreSQL称为WAL日志），这个主要是当停电的时候，服务器宕机，重新启动的时候，进行恢复处理使用的。另外，把日志归档保存起来，可在需要进行恢复的时候使用。在PostgreSQL 9.0以后，通过把WAL日志传送其他的postgreSQL，可以实时得进行数据库复制，这就是所谓的数据库复制功能。

其他进程

Postgres之外还有一些辅助的进程。这些进程都是由常驻postgres启动的进程。

Postmaster主进程和服务进程

当PG数据库启动时，首先会启动Postmaster主进程。这个进程是PG数据库的总控制进程，负责启动和关闭数据库实例。实际上Postmaster进程是一个指向postgres命令的链接。

当用户和PG数据库建立连接时，要先与Postmaster进程建立连接，此时客户端进程会发送身份验证消息给Postmaster主进程，Postmaster主进程根据消息进行身份验证，验证通过后，Postmaster主进程会fork出一个会话服务进程为这个用户连接服务。可以通过pg_stat_activity表来查看服务进程的pid，如下：

test=# select pid,usename,client_addr,client_port frompg_stat_activity;

• 1

Writer process

Writer process在适当的时间点把共享内存上的缓存写往磁盘。通过这个进程，可以防止在检查点的时候(checkpoint)，大量的往磁盘写而导致性能恶化，使得服务器可以保持比较稳定的性能。Background writer起来以后就一直常驻内存，但是并非一直在工作，它会在工作一段时间后进行休眠，休眠的时间间隔通过postgresql.conf里面的参数bgwriter_delay设置，默认是200毫秒。

这个进程的另外一个重要的功能是定期执行检查点(checkpoint)。

检查点的时候，会把共享内存上的缓存内容往数据库文件写，使得内存和文件的状态一致。通过这样，可以在系统崩溃的时候可以缩短从WAL恢复的时间，另外也可以防止WAL无限的增长。 可以通过postgresql.conf的checkpoint_segments、checkpoint_timeout指定执行检查点的时间间隔。

Writer进程是把共享内存中的脏页写到磁盘上的进程。它的作用有两个：一是定期把脏数据从内存缓冲区刷出到磁盘中，减少查询时的阻塞；二是PG在定期作检查点时需要把所有脏页写出到磁盘，通过BgWriter预先写出一些脏页，可以减少设置检查点（CheckPoint，数据库恢复技术的一种）时要进行的IO操作，使系统的IO负载趋向平稳。BgWriter是PostgreSQL8.0以后新加的特性，它的机制可以通过postgresql.conf文件中以"bgwriter_"开头配置参数来控制。

WAL writer process（预写式日志写）

WAL writer process把共享内存上的WAL缓存在适当的时间点往磁盘写，通过这样，可以减轻后端进程在写自己的WAL缓存时的压力，提高性能。另外，非同步提交设为true的时候，可以保证在一定的时间间隔内，把WAL缓存上的内容写入WAL日志文件。

预写式日志WAL（Write Ahead Log，也称为Xlog）的中心思想是对数据文件的修改必须是只能发生在这些修改已经记录到日志之后，也就是先写日志后写数据（日志先行）。使用这种机制可以避免数据频繁的写入磁盘，可以减少磁盘I/O。数据库在宕机重启后可以运用这些WAL日志来恢复数据库。

Archive process

Archive process把WAL日志转移到归档日志里。如果保存了基础备份以及归档日志，即使实在磁盘完全损坏的时候，也可以回复数据库到最新的状态。

类似于Oracle数据库的ARCH归档进程，不同的是ARCH是把redo log进行归档，PgArch是把WAL日志进行归档。再深入点，WAL日志会被循环使用，也就是说，过去的WAL日志会被新产生的日志覆盖，PgArch进程就是为了在覆盖前把WAL日志备份出来。归档日志的作用是为了数据库能够使用全量备份和备份后产生的归档日志，从而让数据库回到过去的任一时间点。PG从8.X版本开始提供的PITR（Point-In-Time-Recovery）技术，就是运用的归档日志。

stats collector process

统计信息的收集进程。收集好统计表的访问次数，磁盘的访问次数等信息。收集到的信息除了能被autovaccum利用，还可以给其他数据库管理员作为数据库管理的参考信息。

PgStat进程是PostgreSQL数据库的统计信息收集器，用来收集数据库运行期间的统计信息，如表的增删改次数，数据块的个数，索引的变化等等。收集统计信息主要是为了让优化器做出正确的判断，选择最佳的执行计划。postgresql.conf文件中与PgStat进程相关的参数。

Logger process

把postgresql的活动状态写到日志信息文件（并非事务日志），在指定的时间间隔里面，对日志文件进行rotate.

Autovacuum（自动清理）启动进程

autovacuum launcher process是依赖于postmaster间接启动vacuum进程。而其自身是不直接启动自动vacuum进程的。通过这样可以提高系统的可靠性。

在PG数据库中，对数据进行UPDATE或者DELETE操作后，数据库不会立即删除旧版本的数据，而是标记为删除状态。这是因为PG数据库具有多版本的机制，如果这些旧版本的数据正在被另外的事务打开，那么暂时保留他们是很有必要的。当事务提交后，旧版本的数据已经没有价值了，数据库需要清理垃圾数据腾出空间，而清理工作就是AutoVacuum进程进行的。

自动vacuum进程

autovacuum worker process进程实际执行vacuum的任务。有时候会同时启动多个vacuum进程。

wal sender / wal receiver

wal sender 进程和wal receiver进程是实现postgresql复制(streaming replication)的进程。Wal sender进程通过网络传送WAL日志，而其他PostgreSQL实例的wal receiver进程则接收相应的日志。Wal receiver进程的宿主PostgreSQL（也称为Standby）接受到WAL日志后，在自身的数据库上还原，生成一个和发送端的PostgreSQL(也称为Master)完全一样的数据库。

CheckPoint（检查点）进程

检查点是系统设置的事务序列点，设置检查点保证检查点前的日志信息刷到磁盘中。postgresql.conf文件中与之相关的参数有：

在postgresql.conf文件中文件中，有很多和这些进程相关的参数设置，可参考原博客。

后端的处理流程

下面看看数据库引擎postgres子进程的处理概要。为了简单起见下面的说明中，把backendprocess简称为backend。Backend的main函数是PostgresMain (tcop/postgres.c)。

1. 接收前端发送过来的查询(SQL文)
2. SQL文是单纯的文字，电脑是认识不了的，所以要转换成比较容易处理的内部形式构文树parser tree,这个处理的称为构文解析。构文解析的模块称为parser.这个阶段只能够使用文字字面上得来的信息，所以只要没语法错误之类的错误，即使是select不存在的表也不会报错。这个阶段的构文树被称为raw parse tree. 构文处理的入口在raw_parser (parser/parser.c)。
3. 构文树解析完以后，会转换为查询树(Query tree)。这个时候，会访问数据库，检查表是否存在，如果存在的话，则把表名转换为OID。这个处理称为分析处理(Analyze), 进行分析处理的模块是analyzer。 另外，PostgreSQL的代码里面提到构文树parser tree的时候，更多的时候是指查询树Query tree。分析处理的模块的入口在parse_analyze (parser/analyze.c)
4. PostgreSQL还通过查询语句的重写实现视图(view)和规则(rule), 所以需要的时候，在这个阶段会对查询语句进行重写。这个处理称为重写(rewrite)，重写的入口在QueryRewrite (rewrite/rewriteHandler.c)。
5. 通过解析查询树，可以实际生成计划树。生成查询树的处理称为‘执行计划处理’，最关键是要生成估计能在最短的时间内完成的计划树(plan tree)。这个步骤称为’查询优化’(不叫query optimize, 而是optimize), 而完成这个处理的模块称为查询优化器(不叫query optimizer,而是optimizer, 或者称为planner)。执行计划处理的入口在standard_planner (optimizer/plan/planner.c)。
6. 按照执行计划里面的步骤可以完成查询要达到的目的。运行执行计划树里面步骤的处理称为执行处理‘execute’, 完成这个处理的模块称为执行器‘Executor’, 执行器的入口地址为，ExecutorRun (executor/execMain.c)
7. 执行结果返回给前端。
8. 返回到步骤一重复执行。