PostgreSQL启动过程中的那些事七:初始化共享内存和信号十:shmem中初始化PROC索引、辅助进程和信号

这一节pg初始化进程表,通过InitProcGlobal例程实现,在postmaster或standalone进程启动时初始化全局进程表。pg还创建了支持被请求的backend进程时每个backend进程需要的信号。以前pg仅在backend进程实际启动时分配信号,但是这样不好,因为这样使postgres在加载时失败,很多unix系统被配置/错误配置成在信号数目上比较小,在试着开启了一个进程时信号用完了,这是常见的故障。因此,现在pg在初始化时就立即搞出足够的信号数以支持预期的最大backend进程数。如果系统管理员把MaxBackends设置的比kernel里能够支持的高,他不久会发现。

在这儿创建信号的另一个原因是信号实现特别要求pg在postmaster中创建信号,而不是在backend进程里创建。

1先上个图,看一下函数调用过程梗概,中间略过部分细节


PostgreSQL启动过程中的那些事七:初始化共享内存和信号十:shmem中初始化PROC索引、辅助进程和信号_第1张图片

初始化Proc相关结构方法调用流程图

2初始化xlog相关结构

话说main()->…->PostmasterMain()->…->reset_shared() ->CreateSharedMemoryAndSemaphores()>…->InitProcGlobal(),在shmem里调用ShmemInitStruct()初始化了"Proc Header"和"AuxiliaryProcs"相关结构;调用ShmemAlloc()分配了最多能用完的PGPROC和信号、锁等并初始化之。初始化上面这些结构都会在共享内存/shmem哈希表索引shmemIndex中增加索引项,下面把初始化这些结构后的shmemIndex图放到下边,就不加一个索引一个图了,减小篇幅。不过这样就看不出先后顺序了,好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。


PostgreSQL启动过程中的那些事七:初始化共享内存和信号十:shmem中初始化PROC索引、辅助进程和信号_第2张图片

初始化完Proc相关结构的共享内存结构图

InitProcGlobal()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"ProcHeader",如果没有,就在shmemIndex中给"Proc Header"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"Proc Header"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"Proc Header"相关结构(见下面“Proc Header相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回InitProcGlobal(),让PROC_HDR *类型全局变量ProcGlobal指向所分配内存,设置PROC_HDR结构类型的成员值。


PostgreSQL启动过程中的那些事七:初始化共享内存和信号十:shmem中初始化PROC索引、辅助进程和信号_第3张图片

Proc Header相关结构图

接着InitProcGlobal()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"AuxiliaryProcs",如果没有,就在shmemIndex中给"AuxiliaryProcs"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"AuxiliaryProcs"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给NUM_AUXILIARY_PROC个(默认3个)"AuxiliaryProcs"相关结构(见下面“ProcGlobal相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回InitProcGlobal(),让PGPROC *类型全局变量AuxiliaryProcs指向所分配内存,初始化PGPROC成员。这个"AuxiliaryProcs"相关结构是给bgwriter进程用的。

这儿还有一点讨论一下,结构PGPROC有个PGSemaphoreData类型的成员,PGSemaphoreData类型和其指针类型PGSemaphore是表示私有信号的数据结构。在各平台上PGSemaphoreData的实现是不同的,PGSemaphoreData结构总是被分配在共享内存中(以支持实现在加锁/解锁期间数据变化)。这个PGSemaphoreData类型的成员sem是通过调用PGSemaphoreCreate()函数为每一个PGPROC结构的sem成员初始化信号所用内存。信号在各操作系统中是不同的。下面是各系统的信号类型PGSemaphoreData的定义。

POSIX标准的PGSemaphoreData的定义:

typedef sem_tPGSemaphoreData;

SYSV标准的PGSemaphoreData的定义:

typedef structPGSemaphoreData

{

int semId; /* semaphore set identifier */

int semNum; /* semaphore number within set */

} PGSemaphoreData;

Windows系统PGSemaphoreData的定义:

typedef HANDLEPGSemaphoreData;

接着InitProcGlobal()调用ShmemAlloc()在共享内存上给MaxConnectons个(默认90个)PGPROC结构实例分配内存,返回InitProcGlobal(),初始化这90个实例成员变量(和上面一样,也初始化了PGPROC中的信号成员sem),把它们组织成链表,让上面已经初始化的ProcGlobal变量的freeProcs成员指向这个链表(见下面“ProcGlobal相关结构图”)。

接着InitProcGlobal()调用ShmemAlloc()在共享内存上给autovacuum_max_workers + 1个(autovacuum_max_workers是GUC参数,默认是3,+1是代表autovacuum发起者进程。)PGPROC结构实例分配内存,返回InitProcGlobal(),初始化这4个实例成员变量(和上面一样,也初始化了PGPROC中的信号成员sem),把它们组织成链表,让上面已经初始化的ProcGlobal变量的autovacFreeProcs成员指向这个链表(见下面“ProcGlobal相关结构图”)。

最后InitProcGlobal()调用ShmemAlloc()在共享内存上给slock_t *类型变量ProcStructLock分配内存,返回InitProcGlobal()并调用SpinLockInit ()初始化之(见下面“ProcGlobal相关结构图”)。

pg中的锁有三种类型:自旋锁(spinlock)、轻量锁(LWLock)、常规锁(Lock),作为一个主题另行讨论。

相关结构定义见下面:

/*

*There is one ProcGlobal struct for the whole database cluster.

*/

typedef struct PROC_HDR

{

/*Head of list of free PGPROC structures */

PGPROC *freeProcs;

/*Head of list of autovacuum's free PGPROC structures */

PGPROC *autovacFreeProcs;

/*Current shared estimate of appropriate spins_per_delay value */

int spins_per_delay;

/*The proc of the Startup process, since not in ProcArray */

PGPROC *startupProc;

int startupProcPid;

/*Buffer id of the buffer that Startup process waits for pin on, or -1 */

int startupBufferPinWaitBufId;

} PROC_HDR;


PostgreSQL启动过程中的那些事七:初始化共享内存和信号十:shmem中初始化PROC索引、辅助进程和信号_第4张图片

ProcGlobal相关结构图


你可能感兴趣的:(PostgreSQL)