这一节pg初始化进程表,通过InitProcGlobal例程实现,在postmaster或standalone进程启动时初始化全局进程表。pg还创建了支持被请求的backend进程时每个backend进程需要的信号。以前pg仅在backend进程实际启动时分配信号,但是这样不好,因为这样使postgres在加载时失败,很多unix系统被配置/错误配置成在信号数目上比较小,在试着开启了一个进程时信号用完了,这是常见的故障。因此,现在pg在初始化时就立即搞出足够的信号数以支持预期的最大backend进程数。如果系统管理员把MaxBackends设置的比kernel里能够支持的高,他不久会发现。
在这儿创建信号的另一个原因是信号实现特别要求pg在postmaster中创建信号,而不是在backend进程里创建。
1先上个图,看一下函数调用过程梗概,中间略过部分细节
初始化Proc相关结构方法调用流程图
2初始化xlog相关结构
话说main()->…->PostmasterMain()->…->reset_shared() ->CreateSharedMemoryAndSemaphores()>…->InitProcGlobal(),在shmem里调用ShmemInitStruct()初始化了"Proc Header"和"AuxiliaryProcs"相关结构;调用ShmemAlloc()分配了最多能用完的PGPROC和信号、锁等并初始化之。初始化上面这些结构都会在共享内存/shmem哈希表索引shmemIndex中增加索引项,下面把初始化这些结构后的shmemIndex图放到下边,就不加一个索引一个图了,减小篇幅。不过这样就看不出先后顺序了,好在这些消失的信息对理解这些过程没什么影响。图中黄色的索引项就是本节新增加的索引项。
初始化完Proc相关结构的共享内存结构图
InitProcGlobal()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"ProcHeader",如果没有,就在shmemIndex中给"Proc Header"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"Proc Header"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"Proc Header"相关结构(见下面“Proc Header相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回InitProcGlobal(),让PROC_HDR *类型全局变量ProcGlobal指向所分配内存,设置PROC_HDR结构类型的成员值。
Proc Header相关结构图
接着InitProcGlobal()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"AuxiliaryProcs",如果没有,就在shmemIndex中给"AuxiliaryProcs"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"AuxiliaryProcs"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给NUM_AUXILIARY_PROC个(默认3个)"AuxiliaryProcs"相关结构(见下面“ProcGlobal相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回InitProcGlobal(),让PGPROC *类型全局变量AuxiliaryProcs指向所分配内存,初始化PGPROC成员。这个"AuxiliaryProcs"相关结构是给bgwriter进程用的。
这儿还有一点讨论一下,结构PGPROC有个PGSemaphoreData类型的成员,PGSemaphoreData类型和其指针类型PGSemaphore是表示私有信号的数据结构。在各平台上PGSemaphoreData的实现是不同的,PGSemaphoreData结构总是被分配在共享内存中(以支持实现在加锁/解锁期间数据变化)。这个PGSemaphoreData类型的成员sem是通过调用PGSemaphoreCreate()函数为每一个PGPROC结构的sem成员初始化信号所用内存。信号在各操作系统中是不同的。下面是各系统的信号类型PGSemaphoreData的定义。
POSIX标准的PGSemaphoreData的定义:
typedef sem_tPGSemaphoreData;
SYSV标准的PGSemaphoreData的定义:
typedef structPGSemaphoreData
{
int semId; /* semaphore set identifier */
int semNum; /* semaphore number within set */
} PGSemaphoreData;
Windows系统PGSemaphoreData的定义:
typedef HANDLEPGSemaphoreData;
接着InitProcGlobal()调用ShmemAlloc()在共享内存上给MaxConnectons个(默认90个)PGPROC结构实例分配内存,返回InitProcGlobal(),初始化这90个实例成员变量(和上面一样,也初始化了PGPROC中的信号成员sem),把它们组织成链表,让上面已经初始化的ProcGlobal变量的freeProcs成员指向这个链表(见下面“ProcGlobal相关结构图”)。
接着InitProcGlobal()调用ShmemAlloc()在共享内存上给autovacuum_max_workers + 1个(autovacuum_max_workers是GUC参数,默认是3,+1是代表autovacuum发起者进程。)PGPROC结构实例分配内存,返回InitProcGlobal(),初始化这4个实例成员变量(和上面一样,也初始化了PGPROC中的信号成员sem),把它们组织成链表,让上面已经初始化的ProcGlobal变量的autovacFreeProcs成员指向这个链表(见下面“ProcGlobal相关结构图”)。
最后InitProcGlobal()调用ShmemAlloc()在共享内存上给slock_t *类型变量ProcStructLock分配内存,返回InitProcGlobal()并调用SpinLockInit ()初始化之(见下面“ProcGlobal相关结构图”)。
pg中的锁有三种类型:自旋锁(spinlock)、轻量锁(LWLock)、常规锁(Lock),作为一个主题另行讨论。
相关结构定义见下面:
/*
*There is one ProcGlobal struct for the whole database cluster.
*/
typedef struct PROC_HDR
{
/*Head of list of free PGPROC structures */
PGPROC *freeProcs;
/*Head of list of autovacuum's free PGPROC structures */
PGPROC *autovacFreeProcs;
/*Current shared estimate of appropriate spins_per_delay value */
int spins_per_delay;
/*The proc of the Startup process, since not in ProcArray */
PGPROC *startupProc;
int startupProcPid;
/*Buffer id of the buffer that Startup process waits for pin on, or -1 */
int startupBufferPinWaitBufId;
} PROC_HDR;
ProcGlobal相关结构图