PostgreSQL启动过程中的那些事七：初始化共享内存和信号十：shmem中初始化PROC索引、辅助进程和信号

        这一节pg初始化进程表，通过InitProcGlobal例程实现，在postmaster或standalone进程启动时初始化全局进程表。pg还创建了支持被请求的backend进程时每个backend进程需要的信号。以前pg仅在backend进程实际启动时分配信号，但是这样不好，因为这样使postgres在加载时失败，很多unix系统被配置/错误配置成在信号数目上比较小，在试着开启了一个进程时信号用完了，这是常见的故障。因此，现在pg在初始化时就立即搞出足够的信号数以支持预期的最大backend进程数。如果系统管理员把MaxBackends设置的比kernel里能够支持的高，他不久会发现。

        在这儿创建信号的另一个原因是信号实现特别要求pg在postmaster中创建信号，而不是在backend进程里创建。

1先上个图，看一下函数调用过程梗概，中间略过部分细节

 

初始化Proc相关结构方法调用流程图

 

2初始化xlog相关结构

        话说main()->…->PostmasterMain()->…->reset_shared() ->CreateSharedMemoryAndSemaphores()>…->InitProcGlobal()，在shmem里调用ShmemInitStruct()初始化了"Proc Header"和"AuxiliaryProcs"相关结构；调用ShmemAlloc()分配了最多能用完的PGPROC和信号、锁等并初始化之。初始化上面这些结构都会在共享内存/shmem哈希表索引shmemIndex中增加索引项，下面把初始化这些结构后的shmemIndex图放到下边，就不加一个索引一个图了，减小篇幅。不过这样就看不出先后顺序了，好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。

初始化完Proc相关结构的共享内存结构图

 

        InitProcGlobal()调用ShmemInitStruct()，在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"ProcHeader"，如果没有，就在shmemIndex中给"Proc Header"分一个HashElement和ShmemIndexEnt（entry），在其中的Entry中写上"Proc Header"。返回ShmemInitStruct()，再调用ShmemAlloc()在共享内存上给"Proc Header"相关结构（见下面“Proc Header相关结构图”）分配空间，设置entry（在这儿及ShmemIndexEnt类型变量）的成员location指向该空间，size成员记录该空间大小，最后返回InitProcGlobal()，让PROC_HDR *类型全局变量ProcGlobal指向所分配内存，设置PROC_HDR结构类型的成员值。

 

Proc Header相关结构图

 

        接着InitProcGlobal()调用ShmemInitStruct()，在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"AuxiliaryProcs"，如果没有，就在shmemIndex中给"AuxiliaryProcs"分一个HashElement和ShmemIndexEnt（entry），在其中的Entry中写上"AuxiliaryProcs"。返回ShmemInitStruct()，再调用ShmemAlloc()在共享内存上给NUM_AUXILIARY_PROC个（默认3个）"AuxiliaryProcs"相关结构（见下面“ProcGlobal相关结构图”）分配空间，设置entry（在这儿及ShmemIndexEnt类型变量）的成员location指向该空间，size成员记录该空间大小，最后返回InitProcGlobal()，让PGPROC *类型全局变量AuxiliaryProcs指向所分配内存，初始化PGPROC成员。这个"AuxiliaryProcs"相关结构是给bgwriter进程用的。

        这儿还有一点讨论一下，结构PGPROC有个PGSemaphoreData类型的成员，PGSemaphoreData类型和其指针类型PGSemaphore是表示私有信号的数据结构。在各平台上PGSemaphoreData的实现是不同的，PGSemaphoreData结构总是被分配在共享内存中（以支持实现在加锁/解锁期间数据变化）。这个PGSemaphoreData类型的成员sem是通过调用PGSemaphoreCreate()函数为每一个PGPROC结构的sem成员初始化信号所用内存。信号在各操作系统中是不同的。下面是各系统的信号类型PGSemaphoreData的定义。

POSIX标准的PGSemaphoreData的定义：

typedef sem_tPGSemaphoreData;

SYSV标准的PGSemaphoreData的定义：

typedef structPGSemaphoreData

{

    int         semId;          /* semaphore set identifier */

    int         semNum;         /* semaphore number within set */

} PGSemaphoreData;

Windows系统PGSemaphoreData的定义：

typedef HANDLEPGSemaphoreData;

 

        接着InitProcGlobal()调用ShmemAlloc()在共享内存上给MaxConnectons个（默认90个）PGPROC结构实例分配内存，返回InitProcGlobal()，初始化这90个实例成员变量（和上面一样，也初始化了PGPROC中的信号成员sem），把它们组织成链表，让上面已经初始化的ProcGlobal变量的freeProcs成员指向这个链表（见下面“ProcGlobal相关结构图”）。

        接着InitProcGlobal()调用ShmemAlloc()在共享内存上给autovacuum_max_workers + 1个（autovacuum_max_workers是GUC参数，默认是3，+1是代表autovacuum发起者进程。）PGPROC结构实例分配内存，返回InitProcGlobal()，初始化这4个实例成员变量（和上面一样，也初始化了PGPROC中的信号成员sem），把它们组织成链表，让上面已经初始化的ProcGlobal变量的autovacFreeProcs成员指向这个链表（见下面“ProcGlobal相关结构图”）。

        最后InitProcGlobal()调用ShmemAlloc()在共享内存上给slock_t *类型变量ProcStructLock分配内存，返回InitProcGlobal()并调用SpinLockInit ()初始化之（见下面“ProcGlobal相关结构图”）。

        pg中的锁有三种类型：自旋锁（spinlock）、轻量锁（LWLock）、常规锁（Lock），作为一个主题另行讨论。

相关结构定义见下面：

/*

 *There is one ProcGlobal struct for the whole database cluster.

 */

typedef struct PROC_HDR

{

       /*Head of list of free PGPROC structures */

       PGPROC        *freeProcs;

       /*Head of list of autovacuum's free PGPROC structures */

       PGPROC        *autovacFreeProcs;

       /*Current shared estimate of appropriate spins_per_delay value */

       int                 spins_per_delay;

       /*The proc of the Startup process, since not in ProcArray */

       PGPROC        *startupProc;

       int                 startupProcPid;

       /*Buffer id of the buffer that Startup process waits for pin on, or -1 */

       int                 startupBufferPinWaitBufId;

} PROC_HDR;

 

ProcGlobal相关结构图